Wenn der Token-Marktplatz in Ihrem Portal angezeigt wird (/inference), nutzen Sie die Funktion wie unten beschrieben. Fehlt sie, ist sie für Ihr Konto noch nicht geöffnet. Wenn der Inferenzdienst geöffnet ist, unterstützen Chat-Anfragen stream: true. Die Antwort kommt als Server-Sent Events, sodass Ihr Client den Text während der Generierung anzeigen kann. Im Token-Marktplatz (/inference) finden Sie Beispiele für curl und das OpenAI-Python-SDK. Streaming folgt derselben Abrechnung wie eine Standardantwort. Eine konfigurierte Generierungsdauer gilt weiterhin; Streaming hebt weder Anfragelimits auf noch macht es nicht verfügbare Modelle verfügbar.
Unterstützt Inferenz Streaming?
Aus dem EverXCloud Hilfe-Center.
