GPU per l’inferenza LLM
Servire un modello linguistico ha due limiti: i pesi e la KV cache devono entrare nella memoria della GPU, e ogni token generato rilegge i pesi dalla memoria. La dimensione della memoria decide quali modelli puoi servire; la banda di memoria decide in gran parte quanto velocemente rispondono.
GPU adatte a inferenza LLM
Scorri lateralmente per vedere tutte le colonne.
| GPU | Memoria | Banda | Tensor FP8 | Inferenza, 16 bit | Inferenza, 4 bit | Prezzo/h |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | da 0,44 USD |
| RTX 4090Ada Lovelace | 24 GB | 1008 GB/s | Non pubblicato | ≈ 9B | ≈ 30B | da 0,33 USD |
| RTX 5090Blackwell | 32 GB | 1792 GB/s | Non pubblicato | ≈ 10B | ≈ 40B | da 0,69 USD |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | da 0,79 USD |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1792 GB/s | Non pubblicato | ≈ 35B | ≈ 120B | da 1,69 USD |
| A100 SXMAmpere | 80 GB | 2039 GB/s | Non pubblicato | ≈ 30B | ≈ 100B | da 1,79 USD |
| H100 SXMHopper | 80 GB | 3350 GB/s | 1979 TFLOPS | ≈ 30B | ≈ 100B | da 2,88 USD |
| H200Hopper | 141 GB | 4800 GB/s | 1979 TFLOPS | ≈ 55B | ≈ 180B | da 4,19 USD |
| MI300XCDNA 3 | 192 GB | 5300 GB/s | 2614 TFLOPS | ≈ 75B | ≈ 250B | da 4,16 USD |
Specifiche del produttore, per GPU; throughput tensoriale senza sparsità. Le dimensioni dei modelli sono stime prudenti in miliardi di parametri, contando l’80% della memoria; lunghezza del contesto, dimensione del batch e framework cambiano il limite reale. I prezzi sono la migliore offerta live per una GPU all’ora, imposte escluse.
Tutti i modelli di GPUCosa conta per inferenza LLM
Prima il modello, poi la cache
Un modello richiede circa 2 byte per parametro a 16 bit e circa mezzo byte con quantizzazione a 4 bit. La KV cache cresce con la lunghezza del contesto e il numero di richieste simultanee, per questo le stime lasciano libero il 20% della memoria.
La banda determina i token al secondo
Con batch piccoli, la generazione di token è limitata dalla banda di memoria, non dal calcolo: una GPU con il doppio della banda genera token circa due volte più velocemente sullo stesso modello. Per chat e agenti confronta prima la colonna della banda.
Throughput e FP8
Per job batch e alta concorrenza conta di più il throughput tensoriale. Le GPU Hopper, Ada Lovelace e successive supportano FP8, che dimezza la memoria dei pesi rispetto ai 16 bit e accelera i motori di inferenza che lo supportano.
Confronta GPU per inferenza LLM
GPU per l’inferenza LLM: domande frequenti
Quale GPU serve per eseguire un modello 70B?
Con quantizzazione a 4 bit, un modello da 70 miliardi di parametri richiede circa 40 GB per i soli pesi: una singola GPU da 48 GB è al limite, una da 80 GB lascia spazio per la cache. A 16 bit servono circa 140 GB per i pesi, quindi almeno due GPU da 80 GB.
La RTX 4090 va bene per l’inferenza?
Per modelli fino a circa 30 miliardi di parametri a 4 bit, sì: ha 24 GB di memoria e circa 1 TB/s di banda. Modelli più grandi e contesti lunghi richiedono più memoria per GPU.
Devo quantizzare il mio modello?
La quantizzazione a 8 o 4 bit permette di far entrare un modello più grande e di solito accelera la generazione, con una piccola perdita di qualità che dipende dal modello e dal metodo. Verifica la qualità sui tuoi prompt prima di metterlo in produzione.
Come noleggio una GPU per inferenza LLM su EverXCloud?
Crea un account, ricarica il saldo prepagato in euro, dollari USA o sterline, poi acquista ore di GPU sulla borsa spot alla migliore offerta, oppure inserisci una richiesta al prezzo che sei disposto a pagare. I noleggi sono fatturati a ore. I prezzi sono indicati al netto delle imposte ed EverXCloud è il merchant of record di ogni noleggio.
Preparati per il giorno del lancio
Crea subito il tuo account: potrai ricaricare il saldo e noleggiare la GPU adatta al tuo carico di lavoro appena il mercato aprirà.
Hai server GPU?
Le aziende possono entrare nella EverXCloud Network e vendere ore dei propri server GPU sulla borsa spot.
Altri carichi di lavoro
- GPU per addestrare grandi modelli linguistici
Pre-addestramento e fine-tuning completo su GPU per data center con memoria HBM.
- GPU per il fine-tuning di modelli open
Adattatori LoRA e QLoRA su una singola GPU, da 24 GB in su.
- GPU per la generazione di immagini e video
Modelli di diffusione per immagini e video, da schede da 24 GB a GPU da 80 GB.
- GPU per rendering 3D ed effetti visivi
Rendering in ray tracing, effetti visivi e motori in tempo reale.
- GPU per calcolo scientifico e simulazione
Codici di simulazione e HPC su GPU per data center con memoria HBM.