Ir al contenido

¿La inferencia admite streaming?

Del centro de ayuda de EverXCloud.

Cuando el Mercado de tokens aparezca en su portal (/inference), use la función como se indica a continuación. Si no aparece, todavía no está abierta para su cuenta. Cuando el servicio esté abierto, las solicitudes de chat admiten stream: true. Las respuestas llegan mediante eventos SSE para mostrar el texto a medida que se genera. El mercado de tokens (/inference) ofrece ejemplos con curl y el SDK Python de OpenAI. El streaming sigue el mismo criterio de facturación que una respuesta estándar. Se mantiene el límite configurado de generación; el streaming no elimina límites ni habilita modelos no disponibles.

¿Sigue sin resolverlo?

Enviar una solicitud