GPU para afinação de modelos abertos
A afinação eficiente em parâmetros treina pequenos adaptadores sobre um modelo base congelado. As necessidades de memória descem de forma acentuada, pelo que uma única GPU chega muitas vezes: o modelo base só tem de caber, em 16 bits com LoRA ou em 4 bits com QLoRA, deixando margem para as ativações.
GPU adequadas para afinação
Deslize para o lado para ver todas as colunas.
| GPU | Memória | Largura de banda | QLoRA, modelo base | LoRA 16 bits, modelo base | Preço/h |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | ≈ 15 mil M | ≈ 7 mil M | a partir de US$ 0,33 |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | ≈ 25 mil M | ≈ 10 mil M | a partir de US$ 0,69 |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35 mil M | ≈ 15 mil M | a partir de US$ 0,33 |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35 mil M | ≈ 15 mil M | a partir de US$ 0,79 |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35 mil M | ≈ 15 mil M | a partir de US$ 0,74 |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | ≈ 60 mil M | ≈ 25 mil M | a partir de US$ 1,79 |
| H100 SXMHopper | 80 GB | 3.350 GB/s | ≈ 60 mil M | ≈ 25 mil M | a partir de US$ 2,88 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | ≈ 75 mil M | ≈ 30 mil M | a partir de US$ 1,69 |
| H200Hopper | 141 GB | 4.800 GB/s | ≈ 110 mil M | ≈ 45 mil M | a partir de US$ 4,19 |
Especificações do fabricante, por GPU; débito tensorial sem esparsidade. Os tamanhos de modelo são estimativas prudentes em milhares de milhões de parâmetros, contando 80 % da memória; o comprimento do contexto, o tamanho do lote e a framework alteram o limite real. Os preços são a melhor oferta em tempo real para uma GPU por hora, sem impostos.
Todos os modelos de GPUO que conta para afinação
LoRA ou QLoRA
O LoRA mantém o modelo base em 16 bits e treina adaptadores de baixa ordem: cerca de 2 bytes por parâmetro para os pesos congelados. O QLoRA quantiza o modelo base em 4 bits, reduzindo esse valor para bem menos de 1 byte por parâmetro, à custa de passos mais lentos. A tabela estima o maior modelo base para cada método, com margem.
Comprimento da sequência e tamanho do lote
As ativações crescem com o comprimento da sequência e o tamanho do lote. A afinação com contexto longo precisa de mais margem do que as estimativas pressupõem; a recomputação de gradientes (gradient checkpointing) e os microlotes mais pequenos trocam velocidade por memória.
Primeiro, uma única GPU
Uma placa de 24 GB ou 32 GB chega para afinar com QLoRA muitos modelos de 7 a 14 mil milhões de parâmetros. Passe para GPU de 48 GB ou 80 GB para LoRA em 16 bits em modelos maiores, ou para várias GPU para a afinação completa.
Comparar GPU para afinação
GPU para afinação de modelos abertos: perguntas frequentes
Que GPU preciso para afinar um modelo de 7B?
Com QLoRA, uma GPU de 24 GB como a RTX 4090 costuma chegar para um modelo de 7 ou 8 mil milhões de parâmetros com comprimentos de sequência moderados. Com LoRA em 16 bits, uma GPU de 48 GB deixa uma margem confortável.
O QLoRA é mais lento do que o LoRA?
Normalmente, sim: os pesos de 4 bits são desquantizados a cada passo. O QLoRA troca alguma velocidade por uma ocupação de memória muito menor, o que permite usar uma GPU mais económica ou um modelo base maior.
Quando preciso antes de uma afinação completa?
Quando os adaptadores não chegam para a alteração pretendida, todos os pesos são treinados e as necessidades de memória voltam a ser as do treino, cerca de 16 bytes por parâmetro. Consulte a página de treino de LLM para ver as GPU adequadas.
Como alugo uma GPU para afinação na EverXCloud?
Crie uma conta, recarregue o seu saldo pré-pago em euros, dólares norte-americanos ou libras e compre horas de GPU na bolsa spot à melhor oferta, ou coloque um pedido ao preço que está disposto a pagar. Os aluguéis são faturados por hora. Os preços são apresentados sem impostos e a EverXCloud é o vendedor oficial (merchant of record) de cada aluguel.
Esteja pronto no dia do lançamento
Crie sua conta agora: você poderá recarregar seu saldo e alugar a GPU adequada à sua carga de trabalho assim que o mercado abrir.
Tem servidores GPU?
As empresas podem aderir à rede EverXCloud Network e vender horas dos seus servidores GPU na bolsa spot.
Outras cargas de trabalho
- GPU para treinar grandes modelos de linguagem
Pré-treino e afinação completa em GPU de centro de dados com memória HBM.
- GPU para inferência de LLM
Sirva modelos abertos: o que cabe na memória e a que velocidade chegam os tokens.
- GPU para geração de imagens e vídeo
Modelos de difusão para imagem e vídeo, de placas de 24 GB a GPU de 80 GB.
- GPU para renderização 3D e efeitos visuais
Renderização com traçado de raios, efeitos visuais e motores em tempo real.
- GPU para computação científica e simulação
Simulação e códigos HPC em GPU de centro de dados com memória HBM.