GPU para inferencia de LLM
Servir un modelo de lenguaje tiene dos límites: los pesos y la caché KV deben caber en la memoria GPU, y cada token generado vuelve a leer los pesos desde la memoria. El tamaño de memoria decide qué modelos puede servir; el ancho de banda de memoria decide en gran medida la rapidez de las respuestas.
GPU adecuadas para inferencia de LLM
Deslice horizontalmente para ver todas las columnas.
| GPU | Memoria | Ancho de banda | Tensor FP8 | Inferencia, 16 bits | Inferencia, 4 bits | Precio/h |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9 mil M | ≈ 30 mil M | desde 0,44 US$ |
| RTX 4090Ada Lovelace | 24 GB | 1008 GB/s | No publicado | ≈ 9 mil M | ≈ 30 mil M | desde 0,33 US$ |
| RTX 5090Blackwell | 32 GB | 1792 GB/s | No publicado | ≈ 10 mil M | ≈ 40 mil M | desde 0,69 US$ |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15 mil M | ≈ 60 mil M | desde 0,79 US$ |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1792 GB/s | No publicado | ≈ 35 mil M | ≈ 120 mil M | desde 1,69 US$ |
| A100 SXMAmpere | 80 GB | 2039 GB/s | No publicado | ≈ 30 mil M | ≈ 100 mil M | desde 1,79 US$ |
| H100 SXMHopper | 80 GB | 3350 GB/s | 1979 TFLOPS | ≈ 30 mil M | ≈ 100 mil M | desde 2,88 US$ |
| H200Hopper | 141 GB | 4800 GB/s | 1979 TFLOPS | ≈ 55 mil M | ≈ 180 mil M | desde 4,19 US$ |
| MI300XCDNA 3 | 192 GB | 5300 GB/s | 2614 TFLOPS | ≈ 75 mil M | ≈ 250 mil M | desde 4,16 US$ |
Especificaciones del fabricante, por GPU; rendimiento tensorial sin dispersión (sparsity). Los tamaños de modelo son estimaciones prudentes en miles de millones de parámetros, contando el 80 % de la memoria; la longitud de contexto, el tamaño de lote y el framework modifican el límite real. Los precios son la mejor oferta en directo para una GPU por hora, sin impuestos.
Todos los modelos de GPUQué importa para inferencia de LLM
Que quepa el modelo, y después la caché
Un modelo necesita unos 2 bytes por parámetro en 16 bits y aproximadamente medio byte con cuantización de 4 bits. La caché KV crece con la longitud de contexto y el número de solicitudes simultáneas; por eso las estimaciones dejan libre el 20 % de la memoria.
El ancho de banda marca los tokens por segundo
Con lotes pequeños, la generación de tokens está limitada por el ancho de banda de memoria, no por el cálculo: una GPU con el doble de ancho de banda genera tokens aproximadamente el doble de rápido con el mismo modelo. Para cargas de chat y agentes, compare primero la columna de ancho de banda.
Rendimiento y FP8
Para trabajos por lotes y alta concurrencia, el rendimiento tensorial pesa más. Las GPU Hopper, Ada Lovelace y posteriores admiten FP8, que reduce a la mitad la memoria de los pesos frente a 16 bits y acelera los motores de inferencia que lo admiten.
Comparar GPU para inferencia de LLM
GPU para inferencia de LLM: preguntas frecuentes
¿Qué GPU necesito para ejecutar un modelo de 70B?
Con cuantización de 4 bits, un modelo de 70 mil millones de parámetros necesita unos 40 GB solo para los pesos: una GPU de 48 GB va justa, una de 80 GB deja sitio para la caché. En 16 bits necesita unos 140 GB para los pesos, es decir, al menos dos GPU de 80 GB.
¿Es buena una RTX 4090 para inferencia?
Para modelos de hasta unos 30 mil millones de parámetros en 4 bits, sí: tiene 24 GB de memoria y alrededor de 1 TB/s de ancho de banda. Los modelos más grandes y los contextos largos necesitan más memoria por GPU.
¿Debo cuantizar mi modelo?
La cuantización a 8 o 4 bits permite que quepa un modelo más grande y suele acelerar la generación, con una pequeña pérdida de calidad que depende del modelo y del método. Pruebe la calidad con sus propias instrucciones antes de ponerlo en servicio.
¿Cómo alquilo una GPU para inferencia de LLM en EverXCloud?
Cree una cuenta, recargue su saldo prepago en euros, dólares estadounidenses o libras y compre horas de GPU en el mercado spot a la mejor oferta, o publique una solicitud al precio que esté dispuesto a pagar. Los alquileres se facturan por horas. Los precios se muestran sin impuestos y EverXCloud es el vendedor oficial (merchant of record) de cada alquiler.
Esté listo el día del lanzamiento
Cree su cuenta ahora: podrá recargar su saldo y alquilar la GPU adecuada para su carga de trabajo en cuanto abra el mercado.
¿Tiene servidores GPU?
Las empresas pueden unirse a la red EverXCloud Network y vender horas de sus servidores GPU en el mercado spot.
Otras cargas de trabajo
- GPU para entrenar grandes modelos de lenguaje
Preentrenamiento y ajuste fino completo en GPU de centro de datos con memoria HBM.
- GPU para el ajuste fino de modelos abiertos
Adaptadores LoRA y QLoRA en una sola GPU, desde 24 GB.
- GPU para generación de imágenes y vídeo
Modelos de difusión para imagen y vídeo, de tarjetas de 24 GB a GPU de 80 GB.
- GPU para renderizado 3D y efectos visuales
Renderizado con trazado de rayos, efectos visuales y motores en tiempo real.
- GPU para cálculo científico y simulación
Simulación y códigos HPC en GPU de centro de datos con memoria HBM.