GPU per il fine-tuning di modelli open
Il fine-tuning efficiente nei parametri addestra piccoli adattatori sopra un modello base congelato. Il fabbisogno di memoria cala drasticamente, quindi spesso basta una sola GPU: il modello base deve solo entrare, in 16 bit con LoRA o in 4 bit con QLoRA, lasciando spazio per le attivazioni.
GPU adatte a fine-tuning
Scorri lateralmente per vedere tutte le colonne.
| GPU | Memoria | Banda | QLoRA, modello base | LoRA 16 bit, modello base | Prezzo/h |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1008 GB/s | ≈ 15B | ≈ 7B | da 0,33 USD |
| RTX 5090Blackwell | 32 GB | 1792 GB/s | ≈ 25B | ≈ 10B | da 0,69 USD |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35B | ≈ 15B | da 0,33 USD |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35B | ≈ 15B | da 0,79 USD |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35B | ≈ 15B | da 0,74 USD |
| A100 SXMAmpere | 80 GB | 2039 GB/s | ≈ 60B | ≈ 25B | da 1,79 USD |
| H100 SXMHopper | 80 GB | 3350 GB/s | ≈ 60B | ≈ 25B | da 2,88 USD |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1792 GB/s | ≈ 75B | ≈ 30B | da 1,69 USD |
| H200Hopper | 141 GB | 4800 GB/s | ≈ 110B | ≈ 45B | da 4,19 USD |
Specifiche del produttore, per GPU; throughput tensoriale senza sparsità. Le dimensioni dei modelli sono stime prudenti in miliardi di parametri, contando l’80% della memoria; lunghezza del contesto, dimensione del batch e framework cambiano il limite reale. I prezzi sono la migliore offerta live per una GPU all’ora, imposte escluse.
Tutti i modelli di GPUCosa conta per fine-tuning
LoRA o QLoRA
LoRA mantiene il modello base in 16 bit e addestra adattatori a basso rango: circa 2 byte per parametro per i pesi congelati. QLoRA quantizza il modello base a 4 bit, scendendo ben sotto 1 byte per parametro, a costo di step più lenti. La tabella stima il modello base più grande per ciascuno, con margine.
Lunghezza della sequenza e dimensione del batch
Le attivazioni crescono con la lunghezza della sequenza e la dimensione del batch. Il fine-tuning a contesto lungo richiede più margine di quanto presuppongano le stime; gradient checkpointing e micro-batch più piccoli scambiano velocità con memoria.
Prima una sola GPU
Una scheda da 24 GB o 32 GB basta per il fine-tuning QLoRA di molti modelli da 7 a 14 miliardi di parametri. Passa a GPU da 48 GB o 80 GB per LoRA a 16 bit su modelli più grandi, o a più GPU per il fine-tuning completo.
Confronta GPU per fine-tuning
GPU per il fine-tuning di modelli open: domande frequenti
Quale GPU serve per il fine-tuning di un modello 7B?
Con QLoRA, una GPU da 24 GB come la RTX 4090 è di solito sufficiente per un modello da 7 o 8 miliardi di parametri con lunghezze di sequenza moderate. Con LoRA a 16 bit, una GPU da 48 GB lascia un margine confortevole.
QLoRA è più lento di LoRA?
Di solito sì: i pesi a 4 bit vengono dequantizzati a ogni step. QLoRA sacrifica un po’ di velocità in cambio di un’occupazione di memoria molto inferiore, che permette di usare una GPU più economica o un modello base più grande.
Quando serve invece il fine-tuning completo?
Quando gli adattatori non bastano per il cambiamento che vuoi ottenere, si addestrano tutti i pesi e il fabbisogno di memoria torna a quello dell’addestramento, circa 16 byte per parametro. Consulta la pagina sull’addestramento LLM per le GPU adatte.
Come noleggio una GPU per fine-tuning su EverXCloud?
Crea un account, ricarica il saldo prepagato in euro, dollari USA o sterline, poi acquista ore di GPU sulla borsa spot alla migliore offerta, oppure inserisci una richiesta al prezzo che sei disposto a pagare. I noleggi sono fatturati a ore. I prezzi sono indicati al netto delle imposte ed EverXCloud è il merchant of record di ogni noleggio.
Preparati per il giorno del lancio
Crea subito il tuo account: potrai ricaricare il saldo e noleggiare la GPU adatta al tuo carico di lavoro appena il mercato aprirà.
Hai server GPU?
Le aziende possono entrare nella EverXCloud Network e vendere ore dei propri server GPU sulla borsa spot.
Altri carichi di lavoro
- GPU per addestrare grandi modelli linguistici
Pre-addestramento e fine-tuning completo su GPU per data center con memoria HBM.
- GPU per l’inferenza LLM
Servi modelli open: cosa entra in memoria e quanto velocemente arrivano i token.
- GPU per la generazione di immagini e video
Modelli di diffusione per immagini e video, da schede da 24 GB a GPU da 80 GB.
- GPU per rendering 3D ed effetti visivi
Rendering in ray tracing, effetti visivi e motori in tempo reale.
- GPU per calcolo scientifico e simulazione
Codici di simulazione e HPC su GPU per data center con memoria HBM.