GPU per addestrare grandi modelli linguistici
Addestrare un modello da zero, o fare il fine-tuning completo di tutti i pesi, richiede molta più memoria che eseguirlo: pesi, gradienti e stati dell’ottimizzatore risiedono tutti sulla GPU. Le GPU per data center con memoria HBM, tensor core veloci e un’interconnessione tra GPU sono la scelta pratica.
GPU adatte a addestramento LLM
Scorri lateralmente per vedere tutte le colonne.
| GPU | Memoria | Tipo di memoria | Banda | Tensor BF16 | Addestramento completo, 1 GPU | Addestramento completo, 8 GPU | Prezzo/h |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | Non pubblicato | Non pubblicato | ≈ 10B | ≈ 110B | da 8,99 USD |
| B200Blackwell | 180 GB | HBM3e | Non pubblicato | Non pubblicato | ≈ 9B | ≈ 70B | da 7,99 USD |
| MI325XCDNA 3 | 256 GB | HBM3e | 6000 GB/s | 1307 TFLOPS | ≈ 10B | ≈ 100B | da 4,82 USD |
| MI300XCDNA 3 | 192 GB | HBM3 | 5300 GB/s | 1307 TFLOPS | ≈ 9B | ≈ 75B | da 4,16 USD |
| H200Hopper | 141 GB | HBM3e | 4800 GB/s | 989 TFLOPS | ≈ 7B | ≈ 55B | da 4,19 USD |
| H100 NVLHopper | 94 GB | HBM3 | 3900 GB/s | 835 TFLOPS | ≈ 4B | ≈ 35B | da 3,19 USD |
| H100 SXMHopper | 80 GB | HBM3 | 3350 GB/s | 989 TFLOPS | ≈ 4B | ≈ 30B | da 2,88 USD |
| A100 SXMAmpere | 80 GB | HBM2e | 2039 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | da 1,79 USD |
| A100 PCIeAmpere | 80 GB | HBM2e | 1935 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | da 1,79 USD |
Specifiche del produttore, per GPU; throughput tensoriale senza sparsità. Le dimensioni dei modelli sono stime prudenti in miliardi di parametri, contando l’80% della memoria; lunghezza del contesto, dimensione del batch e framework cambiano il limite reale. I prezzi sono la migliore offerta live per una GPU all’ora, imposte escluse.
Tutti i modelli di GPUCosa conta per addestramento LLM
La memoria determina la dimensione del modello
L’addestramento in precisione mista con l’ottimizzatore Adam richiede circa 16 byte per parametro, attivazioni escluse. Una GPU da 80 GB addestra quindi modelli di pochi miliardi di parametri; i modelli più grandi vengono suddivisi su 8 GPU o più con parallelismo dei dati sharded (FSDP, ZeRO) o parallelismo tensoriale.
Throughput tensoriale e precisione
L’addestramento avviene per lo più in BF16 e le GPU più recenti aggiungono FP8. È il throughput tensoriale denso a tradursi in token al secondo: confronta la colonna BF16 e ricorda che i valori pubblicati con sparsità sono il doppio di quelli densi.
Interconnessione per i job multi-GPU
Quando un modello è suddiviso su più GPU, queste si scambiano i gradienti a ogni step. Le schede SXM con NVLink, o AMD Infinity Fabric, mantengono veloce questo scambio; le schede PCIe sono adatte a job più piccoli e al parallelismo dei dati in cui ogni GPU contiene una copia completa del modello.
Confronta GPU per addestramento LLM
GPU per addestrare grandi modelli linguistici: domande frequenti
Quanta memoria GPU serve per addestrare un LLM?
Come regola prudente, circa 16 byte per parametro per pesi, gradienti e stati di Adam in precisione mista, più le attivazioni. Un modello da 7 miliardi di parametri richiede più di 100 GB in totale, quindi si addestra su più GPU da 80 GB, oppure su meno GPU con sharding e activation checkpointing.
H100 o A100 per l’addestramento?
Entrambe hanno 80 GB di memoria. La H100 SXM dichiara circa tre volte il throughput tensoriale BF16 denso della A100 SXM e aggiunge FP8, con una banda di memoria più alta; la A100 resta una scelta valida per i job non limitati dal calcolo.
Posso addestrare su schede GeForce?
Per modelli piccoli ed esperimenti, sì. Per esecuzioni più grandi, i 24-32 GB per scheda e l’assenza di un’interconnessione veloce tra GPU limitano quanto un job può scalare; per questo in questa pagina le GPU per data center sono elencate per prime.
Come noleggio una GPU per addestramento LLM su EverXCloud?
Crea un account, ricarica il saldo prepagato in euro, dollari USA o sterline, poi acquista ore di GPU sulla borsa spot alla migliore offerta, oppure inserisci una richiesta al prezzo che sei disposto a pagare. I noleggi sono fatturati a ore. I prezzi sono indicati al netto delle imposte ed EverXCloud è il merchant of record di ogni noleggio.
Preparati per il giorno del lancio
Crea subito il tuo account: potrai ricaricare il saldo e noleggiare la GPU adatta al tuo carico di lavoro appena il mercato aprirà.
Hai server GPU?
Le aziende possono entrare nella EverXCloud Network e vendere ore dei propri server GPU sulla borsa spot.
Altri carichi di lavoro
- GPU per il fine-tuning di modelli open
Adattatori LoRA e QLoRA su una singola GPU, da 24 GB in su.
- GPU per l’inferenza LLM
Servi modelli open: cosa entra in memoria e quanto velocemente arrivano i token.
- GPU per la generazione di immagini e video
Modelli di diffusione per immagini e video, da schede da 24 GB a GPU da 80 GB.
- GPU per rendering 3D ed effetti visivi
Rendering in ray tracing, effetti visivi e motori in tempo reale.
- GPU per calcolo scientifico e simulazione
Codici di simulazione e HPC su GPU per data center con memoria HBM.