GPU para entrenar grandes modelos de lenguaje
Entrenar un modelo desde cero, o ajustar por completo todos sus pesos, requiere mucha más memoria que ejecutarlo: pesos, gradientes y estados del optimizador residen en la GPU. Las GPU de centro de datos con memoria HBM, núcleos tensoriales rápidos e interconexión entre GPU son la opción práctica.
GPU adecuadas para entrenamiento de LLM
Deslice horizontalmente para ver todas las columnas.
| GPU | Memoria | Tipo de memoria | Ancho de banda | Tensor BF16 | Entrenamiento completo, 1 GPU | Entrenamiento completo, 8 GPU | Precio/h |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | No publicado | No publicado | ≈ 10 mil M | ≈ 110 mil M | desde 8,99 US$ |
| B200Blackwell | 180 GB | HBM3e | No publicado | No publicado | ≈ 9 mil M | ≈ 70 mil M | desde 7,99 US$ |
| MI325XCDNA 3 | 256 GB | HBM3e | 6000 GB/s | 1307 TFLOPS | ≈ 10 mil M | ≈ 100 mil M | desde 4,82 US$ |
| MI300XCDNA 3 | 192 GB | HBM3 | 5300 GB/s | 1307 TFLOPS | ≈ 9 mil M | ≈ 75 mil M | desde 4,16 US$ |
| H200Hopper | 141 GB | HBM3e | 4800 GB/s | 989 TFLOPS | ≈ 7 mil M | ≈ 55 mil M | desde 4,19 US$ |
| H100 NVLHopper | 94 GB | HBM3 | 3900 GB/s | 835 TFLOPS | ≈ 4 mil M | ≈ 35 mil M | desde 3,19 US$ |
| H100 SXMHopper | 80 GB | HBM3 | 3350 GB/s | 989 TFLOPS | ≈ 4 mil M | ≈ 30 mil M | desde 2,88 US$ |
| A100 SXMAmpere | 80 GB | HBM2e | 2039 GB/s | 312 TFLOPS | ≈ 4 mil M | ≈ 30 mil M | desde 1,79 US$ |
| A100 PCIeAmpere | 80 GB | HBM2e | 1935 GB/s | 312 TFLOPS | ≈ 4 mil M | ≈ 30 mil M | desde 1,79 US$ |
Especificaciones del fabricante, por GPU; rendimiento tensorial sin dispersión (sparsity). Los tamaños de modelo son estimaciones prudentes en miles de millones de parámetros, contando el 80 % de la memoria; la longitud de contexto, el tamaño de lote y el framework modifican el límite real. Los precios son la mejor oferta en directo para una GPU por hora, sin impuestos.
Todos los modelos de GPUQué importa para entrenamiento de LLM
La memoria fija el tamaño del modelo
El entrenamiento en precisión mixta con el optimizador Adam necesita unos 16 bytes por parámetro antes de las activaciones. Una GPU de 80 GB entrena, por tanto, modelos de unos pocos miles de millones de parámetros; los modelos más grandes se reparten en 8 GPU o más con paralelismo de datos fragmentado (FSDP, ZeRO) o paralelismo tensorial.
Rendimiento tensorial y precisión
El entrenamiento se realiza sobre todo en BF16, y las GPU más recientes añaden FP8. El rendimiento tensorial denso es lo que se traduce en tokens por segundo: compare la columna BF16 y tenga en cuenta que las cifras publicadas con dispersión duplican el valor denso.
Interconexión para trabajos con varias GPU
En cuanto un modelo se reparte entre varias GPU, estas intercambian gradientes en cada paso. Las placas SXM con NVLink, o AMD Infinity Fabric, mantienen ese intercambio rápido; las tarjetas PCIe son adecuadas para trabajos más pequeños y ejecuciones en paralelismo de datos en las que cada GPU guarda una copia completa del modelo.
Comparar GPU para entrenamiento de LLM
GPU para entrenar grandes modelos de lenguaje: preguntas frecuentes
¿Cuánta memoria GPU necesito para entrenar un LLM?
Como regla prudente, unos 16 bytes por parámetro para pesos, gradientes y estados de Adam en precisión mixta, más las activaciones. Un modelo de 7 mil millones de parámetros necesita más de 100 GB en total, por lo que se entrena en varias GPU de 80 GB, o en menos GPU con fragmentación y recomputación de activaciones.
¿H100 o A100 para entrenar?
Ambas tienen 80 GB de memoria. La H100 SXM publica unas tres veces el rendimiento tensorial BF16 denso de la A100 SXM y añade FP8, con mayor ancho de banda de memoria; la A100 sigue siendo una opción sólida para trabajos que no están limitados por el cálculo.
¿Puedo entrenar con tarjetas GeForce?
Para modelos pequeños y experimentos, sí. Para ejecuciones más grandes, los 24 a 32 GB por tarjeta y la ausencia de una interconexión rápida entre GPU limitan hasta dónde puede escalar un trabajo; por eso las GPU de centro de datos aparecen primero en esta página.
¿Cómo alquilo una GPU para entrenamiento de LLM en EverXCloud?
Cree una cuenta, recargue su saldo prepago en euros, dólares estadounidenses o libras y compre horas de GPU en el mercado spot a la mejor oferta, o publique una solicitud al precio que esté dispuesto a pagar. Los alquileres se facturan por horas. Los precios se muestran sin impuestos y EverXCloud es el vendedor oficial (merchant of record) de cada alquiler.
Esté listo el día del lanzamiento
Cree su cuenta ahora: podrá recargar su saldo y alquilar la GPU adecuada para su carga de trabajo en cuanto abra el mercado.
¿Tiene servidores GPU?
Las empresas pueden unirse a la red EverXCloud Network y vender horas de sus servidores GPU en el mercado spot.
Otras cargas de trabajo
- GPU para el ajuste fino de modelos abiertos
Adaptadores LoRA y QLoRA en una sola GPU, desde 24 GB.
- GPU para inferencia de LLM
Sirva modelos abiertos: qué cabe en memoria y a qué velocidad llegan los tokens.
- GPU para generación de imágenes y vídeo
Modelos de difusión para imagen y vídeo, de tarjetas de 24 GB a GPU de 80 GB.
- GPU para renderizado 3D y efectos visuales
Renderizado con trazado de rayos, efectos visuales y motores en tiempo real.
- GPU para cálculo científico y simulación
Simulación y códigos HPC en GPU de centro de datos con memoria HBM.