Die Inference API dient zum Aufrufen einsatzbereiter Modelle über eine OpenAI-kompatible Schnittstelle, ohne eine eigene Instanz zu starten. Fehlt die Option im Token-Marktplatz (/inference) oder wird sie als geschlossen angezeigt, ist sie für Ihr Konto nicht geöffnet. Nach der Aktivierung zeigt die Seite Modelle, Verfügbarkeit und letzte Anfragen. Ein Beispielmodell ist nicht automatisch aktuell verfügbar.
Was ist die Inference API?
Aus dem EverXCloud Hilfe-Center.
