Saltar para o conteúdo

A inferência oferece streaming?

Do centro de ajuda da EverXCloud.

Quando o Mercado de tokens aparecer no seu portal (/inference), use a função conforme descrito abaixo. Se não aparecer, ela ainda não está aberta para sua conta. Quando o serviço estiver aberto, as solicitações de chat aceitam stream: true. As respostas chegam por eventos SSE, permitindo exibir o texto durante a geração. O mercado de tokens (/inference) oferece exemplos com curl e o SDK Python da OpenAI. O streaming segue o mesmo princípio de cobrança da resposta padrão. O limite configurado de geração continua valendo; streaming não remove limites nem torna disponíveis modelos indisponíveis.

Ainda precisa de ajuda?

Enviar um pedido