GPU para treinar grandes modelos de linguagem
Treinar um modelo de raiz, ou afinar por completo todos os seus pesos, exige muito mais memória do que executá-lo: pesos, gradientes e estados do otimizador residem todos na GPU. As GPU de centro de dados com memória HBM, núcleos tensoriais rápidos e interligação entre GPU são a escolha prática.
GPU adequadas para treino de LLM
Deslize para o lado para ver todas as colunas.
| GPU | Memória | Tipo de memória | Largura de banda | Tensor BF16 | Treino completo, 1 GPU | Treino completo, 8 GPU | Preço/h |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | Não publicado | Não publicado | ≈ 10 mil M | ≈ 110 mil M | a partir de US$ 8,99 |
| B200Blackwell | 180 GB | HBM3e | Não publicado | Não publicado | ≈ 9 mil M | ≈ 70 mil M | a partir de US$ 7,99 |
| MI325XCDNA 3 | 256 GB | HBM3e | 6.000 GB/s | 1.307 TFLOPS | ≈ 10 mil M | ≈ 100 mil M | a partir de US$ 4,82 |
| MI300XCDNA 3 | 192 GB | HBM3 | 5.300 GB/s | 1.307 TFLOPS | ≈ 9 mil M | ≈ 75 mil M | a partir de US$ 4,16 |
| H200Hopper | 141 GB | HBM3e | 4.800 GB/s | 989 TFLOPS | ≈ 7 mil M | ≈ 55 mil M | a partir de US$ 4,19 |
| H100 NVLHopper | 94 GB | HBM3 | 3.900 GB/s | 835 TFLOPS | ≈ 4 mil M | ≈ 35 mil M | a partir de US$ 3,19 |
| H100 SXMHopper | 80 GB | HBM3 | 3.350 GB/s | 989 TFLOPS | ≈ 4 mil M | ≈ 30 mil M | a partir de US$ 2,88 |
| A100 SXMAmpere | 80 GB | HBM2e | 2.039 GB/s | 312 TFLOPS | ≈ 4 mil M | ≈ 30 mil M | a partir de US$ 1,79 |
| A100 PCIeAmpere | 80 GB | HBM2e | 1.935 GB/s | 312 TFLOPS | ≈ 4 mil M | ≈ 30 mil M | a partir de US$ 1,79 |
Especificações do fabricante, por GPU; débito tensorial sem esparsidade. Os tamanhos de modelo são estimativas prudentes em milhares de milhões de parâmetros, contando 80 % da memória; o comprimento do contexto, o tamanho do lote e a framework alteram o limite real. Os preços são a melhor oferta em tempo real para uma GPU por hora, sem impostos.
Todos os modelos de GPUO que conta para treino de LLM
A memória define o tamanho do modelo
O treino em precisão mista com o otimizador Adam precisa de cerca de 16 bytes por parâmetro antes das ativações. Uma GPU de 80 GB treina, por isso, modelos de alguns milhares de milhões de parâmetros; os modelos maiores são repartidos por 8 GPU ou mais com paralelismo de dados fragmentado (FSDP, ZeRO) ou paralelismo tensorial.
Débito tensorial e precisão
O treino decorre sobretudo em BF16, e as GPU mais recentes acrescentam FP8. É o débito tensorial denso que se traduz em tokens por segundo: compare a coluna BF16 e tenha em conta que os valores publicados com esparsidade são o dobro do valor denso.
Interligação para trabalhos com várias GPU
Assim que um modelo é repartido por várias GPU, estas trocam gradientes a cada passo. As placas SXM com NVLink, ou AMD Infinity Fabric, mantêm essa troca rápida; as placas PCIe adequam-se a trabalhos mais pequenos e a execuções em paralelismo de dados em que cada GPU guarda uma cópia completa do modelo.
Comparar GPU para treino de LLM
GPU para treinar grandes modelos de linguagem: perguntas frequentes
De quanta memória GPU preciso para treinar um LLM?
Como regra prudente, cerca de 16 bytes por parâmetro para pesos, gradientes e estados do Adam em precisão mista, mais as ativações. Um modelo de 7 mil milhões de parâmetros precisa de mais de 100 GB no total, pelo que é treinado em várias GPU de 80 GB, ou em menos GPU com fragmentação e recomputação de ativações.
H100 ou A100 para treino?
Ambas têm 80 GB de memória. A H100 SXM publica cerca de três vezes o débito tensorial BF16 denso da A100 SXM e acrescenta FP8, com maior largura de banda da memória; a A100 continua sendo uma escolha sólida para trabalhos que não estão limitados pelo cálculo.
Posso treinar em placas GeForce?
Para modelos pequenos e experiências, sim. Para execuções maiores, os 24 a 32 GB por placa e a ausência de uma interligação rápida entre GPU limitam a escala de um trabalho; é por isso que as GPU de centro de dados aparecem primeiro nesta página.
Como alugo uma GPU para treino de LLM na EverXCloud?
Crie uma conta, recarregue o seu saldo pré-pago em euros, dólares norte-americanos ou libras e compre horas de GPU na bolsa spot à melhor oferta, ou coloque um pedido ao preço que está disposto a pagar. Os aluguéis são faturados por hora. Os preços são apresentados sem impostos e a EverXCloud é o vendedor oficial (merchant of record) de cada aluguel.
Esteja pronto no dia do lançamento
Crie sua conta agora: você poderá recarregar seu saldo e alugar a GPU adequada à sua carga de trabalho assim que o mercado abrir.
Tem servidores GPU?
As empresas podem aderir à rede EverXCloud Network e vender horas dos seus servidores GPU na bolsa spot.
Outras cargas de trabalho
- GPU para afinação de modelos abertos
Adaptadores LoRA e QLoRA numa única GPU, a partir de 24 GB.
- GPU para inferência de LLM
Sirva modelos abertos: o que cabe na memória e a que velocidade chegam os tokens.
- GPU para geração de imagens e vídeo
Modelos de difusão para imagem e vídeo, de placas de 24 GB a GPU de 80 GB.
- GPU para renderização 3D e efeitos visuais
Renderização com traçado de raios, efeitos visuais e motores em tempo real.
- GPU para computação científica e simulação
Simulação e códigos HPC em GPU de centro de dados com memória HBM.