GPU para inferência de LLM
Servir um modelo de linguagem tem dois limites: os pesos e a cache KV têm de caber na memória GPU, e cada token gerado volta a ler os pesos da memória. O tamanho da memória decide que modelos pode servir; a largura de banda da memória decide em grande parte a rapidez das respostas.
GPU adequadas para inferência de LLM
Deslize para o lado para ver todas as colunas.
| GPU | Memória | Largura de banda | Tensor FP8 | Inferência, 16 bits | Inferência, 4 bits | Preço/h |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9 mil M | ≈ 30 mil M | a partir de US$ 0,44 |
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | Não publicado | ≈ 9 mil M | ≈ 30 mil M | a partir de US$ 0,33 |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | Não publicado | ≈ 10 mil M | ≈ 40 mil M | a partir de US$ 0,69 |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15 mil M | ≈ 60 mil M | a partir de US$ 0,79 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | Não publicado | ≈ 35 mil M | ≈ 120 mil M | a partir de US$ 1,69 |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | Não publicado | ≈ 30 mil M | ≈ 100 mil M | a partir de US$ 1,79 |
| H100 SXMHopper | 80 GB | 3.350 GB/s | 1.979 TFLOPS | ≈ 30 mil M | ≈ 100 mil M | a partir de US$ 2,88 |
| H200Hopper | 141 GB | 4.800 GB/s | 1.979 TFLOPS | ≈ 55 mil M | ≈ 180 mil M | a partir de US$ 4,19 |
| MI300XCDNA 3 | 192 GB | 5.300 GB/s | 2.614 TFLOPS | ≈ 75 mil M | ≈ 250 mil M | a partir de US$ 4,16 |
Especificações do fabricante, por GPU; débito tensorial sem esparsidade. Os tamanhos de modelo são estimativas prudentes em milhares de milhões de parâmetros, contando 80 % da memória; o comprimento do contexto, o tamanho do lote e a framework alteram o limite real. Os preços são a melhor oferta em tempo real para uma GPU por hora, sem impostos.
Todos os modelos de GPUO que conta para inferência de LLM
Primeiro o modelo, depois a cache
Um modelo precisa de cerca de 2 bytes por parâmetro em 16 bits e de cerca de meio byte com quantização de 4 bits. A cache KV cresce com o comprimento do contexto e o número de pedidos simultâneos; é por isso que as estimativas deixam 20 % da memória livre.
A largura de banda define os tokens por segundo
Com lotes pequenos, a geração de tokens está limitada pela largura de banda da memória, não pelo cálculo: uma GPU com o dobro da largura de banda gera tokens cerca de duas vezes mais depressa com o mesmo modelo. Para cargas de conversação e agentes, compare primeiro a coluna da largura de banda.
Débito e FP8
Para trabalhos em lote e elevada concorrência, o débito tensorial pesa mais. As GPU Hopper, Ada Lovelace e posteriores suportam FP8, que reduz para metade a memória dos pesos face a 16 bits e acelera os motores de inferência que o suportam.
Comparar GPU para inferência de LLM
GPU para inferência de LLM: perguntas frequentes
Que GPU preciso para executar um modelo de 70B?
Com quantização de 4 bits, um modelo de 70 mil milhões de parâmetros precisa de cerca de 40 GB só para os pesos: uma GPU de 48 GB fica no limite, uma de 80 GB deixa espaço para a cache. Em 16 bits precisa de cerca de 140 GB para os pesos, ou seja, pelo menos duas GPU de 80 GB.
Uma RTX 4090 é boa para inferência?
Para modelos até cerca de 30 mil milhões de parâmetros em 4 bits, sim: tem 24 GB de memória e cerca de 1 TB/s de largura de banda. Os modelos maiores e os contextos longos precisam de mais memória por GPU.
Devo quantizar o meu modelo?
A quantização em 8 ou 4 bits permite que caiba um modelo maior e costuma acelerar a geração, com uma pequena perda de qualidade que depende do modelo e do método. Teste a qualidade com os seus próprios pedidos antes de o colocar em serviço.
Como alugo uma GPU para inferência de LLM na EverXCloud?
Crie uma conta, recarregue o seu saldo pré-pago em euros, dólares norte-americanos ou libras e compre horas de GPU na bolsa spot à melhor oferta, ou coloque um pedido ao preço que está disposto a pagar. Os aluguéis são faturados por hora. Os preços são apresentados sem impostos e a EverXCloud é o vendedor oficial (merchant of record) de cada aluguel.
Esteja pronto no dia do lançamento
Crie sua conta agora: você poderá recarregar seu saldo e alugar a GPU adequada à sua carga de trabalho assim que o mercado abrir.
Tem servidores GPU?
As empresas podem aderir à rede EverXCloud Network e vender horas dos seus servidores GPU na bolsa spot.
Outras cargas de trabalho
- GPU para treinar grandes modelos de linguagem
Pré-treino e afinação completa em GPU de centro de dados com memória HBM.
- GPU para afinação de modelos abertos
Adaptadores LoRA e QLoRA numa única GPU, a partir de 24 GB.
- GPU para geração de imagens e vídeo
Modelos de difusão para imagem e vídeo, de placas de 24 GB a GPU de 80 GB.
- GPU para renderização 3D e efeitos visuais
Renderização com traçado de raios, efeitos visuais e motores em tempo real.
- GPU para computação científica e simulação
Simulação e códigos HPC em GPU de centro de dados com memória HBM.