GPU’s voor LLM-inferentie
Een taalmodel serveren kent twee grenzen: de gewichten en de KV-cache moeten in het GPU-geheugen passen, en elk gegenereerd token leest de gewichten opnieuw uit het geheugen. De geheugengrootte bepaalt welke modellen je kunt serveren; de geheugenbandbreedte bepaalt grotendeels hoe snel ze antwoorden.
GPU’s die passen bij LLM-inferentie
Veeg opzij om alle kolommen te zien.
| GPU | Geheugen | Bandbreedte | FP8-tensor | Inferentie, 16-bit | Inferentie, 4-bit | Prijs/u |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | vanaf US$ 0,44 |
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | Niet gepubliceerd | ≈ 9B | ≈ 30B | vanaf US$ 0,33 |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | Niet gepubliceerd | ≈ 10B | ≈ 40B | vanaf US$ 0,69 |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | vanaf US$ 0,79 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | Niet gepubliceerd | ≈ 35B | ≈ 120B | vanaf US$ 1,69 |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | Niet gepubliceerd | ≈ 30B | ≈ 100B | vanaf US$ 1,79 |
| H100 SXMHopper | 80 GB | 3.350 GB/s | 1.979 TFLOPS | ≈ 30B | ≈ 100B | vanaf US$ 2,88 |
| H200Hopper | 141 GB | 4.800 GB/s | 1.979 TFLOPS | ≈ 55B | ≈ 180B | vanaf US$ 4,19 |
| MI300XCDNA 3 | 192 GB | 5.300 GB/s | 2.614 TFLOPS | ≈ 75B | ≈ 250B | vanaf US$ 4,16 |
Specificaties van de fabrikant, per GPU; tensordoorvoer zonder sparsity. Modelgroottes zijn voorzichtige schattingen in miljarden parameters, waarbij 80% van het geheugen wordt gerekend; contextlengte, batchgrootte en framework veranderen de echte limiet. Prijzen zijn het beste live aanbod voor één GPU per uur, exclusief belasting.
Alle GPU-modellenWat telt bij LLM-inferentie
Eerst het model, dan de cache
Een model vraagt ongeveer 2 bytes per parameter in 16-bit en ongeveer een halve byte met 4-bit-kwantisatie. De KV-cache groeit met de contextlengte en het aantal gelijktijdige verzoeken; daarom houden de schattingen 20% van het geheugen vrij.
Bandbreedte bepaalt de tokens per seconde
Bij kleine batches wordt tokengeneratie begrensd door de geheugenbandbreedte, niet door rekenkracht: een GPU met twee keer zoveel bandbreedte genereert tokens ruwweg twee keer zo snel op hetzelfde model. Vergelijk voor chat- en agenttoepassingen eerst de bandbreedtekolom.
Doorvoer en FP8
Voor batchjobs en veel gelijktijdigheid telt de tensordoorvoer zwaarder. Hopper-, Ada Lovelace- en nieuwere GPU’s ondersteunen FP8, wat het geheugen van de gewichten halveert ten opzichte van 16-bit en serving-engines die het ondersteunen versnelt.
Vergelijk GPU’s voor LLM-inferentie
GPU’s voor LLM-inferentie: veelgestelde vragen
Welke GPU heb ik nodig om een 70B-model te draaien?
Met 4-bit-kwantisatie vraagt een model met 70 miljard parameters ongeveer 40 GB voor alleen de gewichten: één GPU van 48 GB is krap, een GPU van 80 GB laat ruimte voor de cache. In 16-bit zijn er ongeveer 140 GB nodig voor de gewichten, dus minstens twee GPU’s van 80 GB.
Is een RTX 4090 goed voor inferentie?
Voor modellen tot ongeveer 30 miljard parameters in 4-bit wel: hij heeft 24 GB geheugen en ongeveer 1 TB/s bandbreedte. Grotere modellen en lange contexten vragen meer geheugen per GPU.
Moet ik mijn model kwantiseren?
Kwantisatie naar 8-bit of 4-bit laat een groter model passen en versnelt meestal de generatie, met een klein kwaliteitsverlies dat afhangt van het model en de methode. Test de kwaliteit op je eigen prompts voordat je gaat serveren.
Hoe huur ik een GPU voor LLM-inferentie op EverXCloud?
Maak een account aan, waardeer je prepaid saldo op in euro, Amerikaanse dollars of ponden en koop dan GPU-uren op de spotbeurs tegen het beste aanbod, of plaats een verzoek tegen de prijs die je wilt betalen. Verhuringen worden per uur gefactureerd. Prijzen worden exclusief belasting getoond en EverXCloud is de merchant of record voor elke huur.
Wees klaar op de dag van de lancering
Maak nu je account aan: je kunt je saldo opwaarderen en de GPU huren die bij je toepassing past zodra de markt opengaat.
Heb je GPU-servers?
Bedrijven kunnen zich aansluiten bij het EverXCloud Network en uren van hun GPU-servers op de spotbeurs verkopen.
Andere toepassingen
- GPU’s voor het trainen van grote taalmodellen
Pre-training en volledige fine-tuning op datacenter-GPU’s met HBM-geheugen.
- GPU’s voor het fine-tunen van open modellen
LoRA- en QLoRA-adapters op één GPU, vanaf 24 GB.
- GPU’s voor beeld- en videogeneratie
Diffusiemodellen voor beeld en video, van kaarten van 24 GB tot GPU’s van 80 GB.
- GPU’s voor 3D-rendering en visuele effecten
Raytraced rendering, visuele effecten en realtime-engines.
- GPU’s voor wetenschappelijk rekenwerk en simulatie
Simulatie- en HPC-codes op datacenter-GPU’s met HBM-geheugen.