GPU para el ajuste fino de modelos abiertos
El ajuste fino eficiente en parámetros entrena pequeños adaptadores sobre un modelo base congelado. Las necesidades de memoria caen de forma notable, por lo que a menudo basta con una sola GPU: el modelo base solo tiene que caber, en 16 bits con LoRA o en 4 bits con QLoRA, dejando margen para las activaciones.
GPU adecuadas para ajuste fino
Deslice horizontalmente para ver todas las columnas.
| GPU | Memoria | Ancho de banda | QLoRA, modelo base | LoRA 16 bits, modelo base | Precio/h |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1008 GB/s | ≈ 15 mil M | ≈ 7 mil M | desde 0,33 US$ |
| RTX 5090Blackwell | 32 GB | 1792 GB/s | ≈ 25 mil M | ≈ 10 mil M | desde 0,69 US$ |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35 mil M | ≈ 15 mil M | desde 0,33 US$ |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35 mil M | ≈ 15 mil M | desde 0,79 US$ |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35 mil M | ≈ 15 mil M | desde 0,74 US$ |
| A100 SXMAmpere | 80 GB | 2039 GB/s | ≈ 60 mil M | ≈ 25 mil M | desde 1,79 US$ |
| H100 SXMHopper | 80 GB | 3350 GB/s | ≈ 60 mil M | ≈ 25 mil M | desde 2,88 US$ |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1792 GB/s | ≈ 75 mil M | ≈ 30 mil M | desde 1,69 US$ |
| H200Hopper | 141 GB | 4800 GB/s | ≈ 110 mil M | ≈ 45 mil M | desde 4,19 US$ |
Especificaciones del fabricante, por GPU; rendimiento tensorial sin dispersión (sparsity). Los tamaños de modelo son estimaciones prudentes en miles de millones de parámetros, contando el 80 % de la memoria; la longitud de contexto, el tamaño de lote y el framework modifican el límite real. Los precios son la mejor oferta en directo para una GPU por hora, sin impuestos.
Todos los modelos de GPUQué importa para ajuste fino
LoRA o QLoRA
LoRA mantiene el modelo base en 16 bits y entrena adaptadores de bajo rango: unos 2 bytes por parámetro para los pesos congelados. QLoRA cuantiza el modelo base a 4 bits, lo que reduce esa cifra muy por debajo de 1 byte por parámetro, a costa de pasos más lentos. La tabla estima el mayor modelo base para cada método, con margen.
Longitud de secuencia y tamaño de lote
Las activaciones crecen con la longitud de secuencia y el tamaño de lote. El ajuste fino con contexto largo necesita más margen del que suponen las estimaciones; la recomputación de gradientes (gradient checkpointing) y los microlotes más pequeños cambian velocidad por memoria.
Primero, una sola GPU
Una tarjeta de 24 GB o 32 GB basta para ajustar con QLoRA muchos modelos de 7 a 14 mil millones de parámetros. Pase a GPU de 48 GB u 80 GB para LoRA en 16 bits sobre modelos más grandes, o a varias GPU para el ajuste fino completo.
Comparar GPU para ajuste fino
GPU para el ajuste fino de modelos abiertos: preguntas frecuentes
¿Qué GPU necesito para el ajuste fino de un modelo de 7B?
Con QLoRA, una GPU de 24 GB como la RTX 4090 suele bastar para un modelo de 7 u 8 mil millones de parámetros con longitudes de secuencia moderadas. Con LoRA en 16 bits, una GPU de 48 GB deja un margen cómodo.
¿QLoRA es más lento que LoRA?
Por lo general, sí: los pesos de 4 bits se descuantizan en cada paso. QLoRA cambia algo de velocidad por un consumo de memoria mucho menor, lo que permite usar una GPU más económica o un modelo base más grande.
¿Cuándo necesito un ajuste fino completo?
Cuando los adaptadores no bastan para el cambio que busca, se entrenan todos los pesos y las necesidades de memoria vuelven a ser las del entrenamiento, unos 16 bytes por parámetro. Consulte la página de entrenamiento de LLM para ver las GPU adecuadas.
¿Cómo alquilo una GPU para ajuste fino en EverXCloud?
Cree una cuenta, recargue su saldo prepago en euros, dólares estadounidenses o libras y compre horas de GPU en el mercado spot a la mejor oferta, o publique una solicitud al precio que esté dispuesto a pagar. Los alquileres se facturan por horas. Los precios se muestran sin impuestos y EverXCloud es el vendedor oficial (merchant of record) de cada alquiler.
Esté listo el día del lanzamiento
Cree su cuenta ahora: podrá recargar su saldo y alquilar la GPU adecuada para su carga de trabajo en cuanto abra el mercado.
¿Tiene servidores GPU?
Las empresas pueden unirse a la red EverXCloud Network y vender horas de sus servidores GPU en el mercado spot.
Otras cargas de trabajo
- GPU para entrenar grandes modelos de lenguaje
Preentrenamiento y ajuste fino completo en GPU de centro de datos con memoria HBM.
- GPU para inferencia de LLM
Sirva modelos abiertos: qué cabe en memoria y a qué velocidad llegan los tokens.
- GPU para generación de imágenes y vídeo
Modelos de difusión para imagen y vídeo, de tarjetas de 24 GB a GPU de 80 GB.
- GPU para renderizado 3D y efectos visuales
Renderizado con trazado de rayos, efectos visuales y motores en tiempo real.
- GPU para cálculo científico y simulación
Simulación y códigos HPC en GPU de centro de datos con memoria HBM.