Wenn der Token-Marktplatz in Ihrem Portal angezeigt wird (/inference), nutzen Sie die Funktion wie unten beschrieben. Fehlt sie, ist sie für Ihr Konto noch nicht geöffnet. Wenn verfügbar, rechnet Textinferenz gemessene Eingabe- und Ausgabetokens ab; Bildmodelle haben einen Bildpreis im Token-Marktplatz (/inference). Eine Anfrage reserviert ihre maximalen Kosten einschließlich max_tokens im verfügbaren Guthaben. Nicht benötigtes Guthaben wird am Ende freigegeben. Unzureichendes Guthaben kann einen Aufruf vor der Generierung ablehnen. Außerdem gelten Anfragefrequenz- und Zeitlimits. Prüfen Sie Modell und letzte Anfragen im Portal, statt einen Festpreis oder unbegrenzte Kontingente vorauszusetzen.
Wie wird Inferenz abgerechnet und begrenzt?
Aus dem EverXCloud Hilfe-Center.
