Lorsque le Marché de tokens apparaît dans votre portail (/inference), utilisez cette fonction comme indiqué ci-dessous. Si elle n’apparaît pas, elle n’est pas encore ouverte pour votre compte. Lorsque le service est ouvert, les requêtes de dialogue acceptent stream: true. Les réponses arrivent sous forme d’événements SSE pour afficher le texte progressivement. Le marché au token (/inference) fournit des exemples avec curl et le SDK Python OpenAI. Le streaming suit le même principe de facturation qu’une réponse standard. Une limite de durée de génération reste applicable ; le streaming ne supprime pas les limites et ne rend pas disponible un modèle indisponible.
L’inférence accepte-t-elle le streaming ?
Extrait du centre d’aide EverXCloud.
