Zum Inhalt springen

Unterstützt Inferenz Streaming?

Aus dem EverXCloud Hilfe-Center.

Wenn der Token-Marktplatz in Ihrem Portal angezeigt wird (/inference), nutzen Sie die Funktion wie unten beschrieben. Fehlt sie, ist sie für Ihr Konto noch nicht geöffnet. Wenn der Inferenzdienst geöffnet ist, unterstützen Chat-Anfragen stream: true. Die Antwort kommt als Server-Sent Events, sodass Ihr Client den Text während der Generierung anzeigen kann. Im Token-Marktplatz (/inference) finden Sie Beispiele für curl und das OpenAI-Python-SDK. Streaming folgt derselben Abrechnung wie eine Standardantwort. Eine konfigurierte Generierungsdauer gilt weiterhin; Streaming hebt weder Anfragelimits auf noch macht es nicht verfügbare Modelle verfügbar.

Kommen Sie nicht weiter?

Anfrage senden