GPU’s voor het trainen van grote taalmodellen
Een model vanaf nul trainen, of elk gewicht volledig fine-tunen, vraagt veel meer geheugen dan het draaien ervan: gewichten, gradiënten en optimizerstatussen staan allemaal op de GPU. Datacenter-GPU’s met HBM-geheugen, snelle tensorcores en een interconnect tussen GPU’s zijn de praktische keuze.
GPU’s die passen bij LLM-training
Veeg opzij om alle kolommen te zien.
| GPU | Geheugen | Geheugentype | Bandbreedte | BF16-tensor | Volledige training, 1 GPU | Volledige training, 8 GPU’s | Prijs/u |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | Niet gepubliceerd | Niet gepubliceerd | ≈ 10B | ≈ 110B | vanaf US$ 8,99 |
| B200Blackwell | 180 GB | HBM3e | Niet gepubliceerd | Niet gepubliceerd | ≈ 9B | ≈ 70B | vanaf US$ 7,99 |
| MI325XCDNA 3 | 256 GB | HBM3e | 6.000 GB/s | 1.307 TFLOPS | ≈ 10B | ≈ 100B | vanaf US$ 4,82 |
| MI300XCDNA 3 | 192 GB | HBM3 | 5.300 GB/s | 1.307 TFLOPS | ≈ 9B | ≈ 75B | vanaf US$ 4,16 |
| H200Hopper | 141 GB | HBM3e | 4.800 GB/s | 989 TFLOPS | ≈ 7B | ≈ 55B | vanaf US$ 4,19 |
| H100 NVLHopper | 94 GB | HBM3 | 3.900 GB/s | 835 TFLOPS | ≈ 4B | ≈ 35B | vanaf US$ 3,19 |
| H100 SXMHopper | 80 GB | HBM3 | 3.350 GB/s | 989 TFLOPS | ≈ 4B | ≈ 30B | vanaf US$ 2,88 |
| A100 SXMAmpere | 80 GB | HBM2e | 2.039 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | vanaf US$ 1,79 |
| A100 PCIeAmpere | 80 GB | HBM2e | 1.935 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | vanaf US$ 1,79 |
Specificaties van de fabrikant, per GPU; tensordoorvoer zonder sparsity. Modelgroottes zijn voorzichtige schattingen in miljarden parameters, waarbij 80% van het geheugen wordt gerekend; contextlengte, batchgrootte en framework veranderen de echte limiet. Prijzen zijn het beste live aanbod voor één GPU per uur, exclusief belasting.
Alle GPU-modellenWat telt bij LLM-training
Geheugen bepaalt de modelgrootte
Training in mixed precision met de Adam-optimizer vraagt ongeveer 16 bytes per parameter, nog zonder activaties. Eén GPU van 80 GB traint dus modellen van enkele miljarden parameters; grotere modellen worden over 8 GPU’s of meer verdeeld met sharded data parallelism (FSDP, ZeRO) of tensorparallelisme.
Tensordoorvoer en precisie
Training draait meestal in BF16 en nieuwere GPU’s voegen FP8 toe. Het is de dense tensordoorvoer die zich vertaalt in tokens per seconde: vergelijk de BF16-kolom en houd er rekening mee dat gepubliceerde cijfers met sparsity het dubbele zijn van de dense waarde.
Interconnect voor multi-GPU-jobs
Zodra een model over GPU’s is verdeeld, wisselen ze bij elke stap gradiënten uit. SXM-borden met NVLink, of AMD Infinity Fabric, houden die uitwisseling snel; PCIe-kaarten passen bij kleinere jobs en data parallelism waarbij elke GPU een volledige kopie van het model heeft.
Vergelijk GPU’s voor LLM-training
GPU’s voor het trainen van grote taalmodellen: veelgestelde vragen
Hoeveel GPU-geheugen heb ik nodig om een LLM te trainen?
Als voorzichtige vuistregel ongeveer 16 bytes per parameter voor gewichten, gradiënten en Adam-statussen in mixed precision, plus activaties. Een model met 7 miljard parameters vraagt in totaal meer dan 100 GB, dus het wordt getraind op meerdere GPU’s van 80 GB, of op minder GPU’s met sharding en activation checkpointing.
H100 of A100 voor training?
Beide hebben 80 GB geheugen. De H100 SXM publiceert ongeveer drie keer de dense BF16-tensordoorvoer van de A100 SXM en voegt FP8 toe, met een hogere geheugenbandbreedte; de A100 blijft een goede keuze voor jobs die niet door rekenkracht worden begrensd.
Kan ik trainen op GeForce-kaarten?
Voor kleine modellen en experimenten wel. Bij grotere runs beperken 24 tot 32 GB per kaart en het ontbreken van een snelle interconnect tussen GPU’s hoe ver een job kan schalen; daarom staan datacenter-GPU’s op deze pagina bovenaan.
Hoe huur ik een GPU voor LLM-training op EverXCloud?
Maak een account aan, waardeer je prepaid saldo op in euro, Amerikaanse dollars of ponden en koop dan GPU-uren op de spotbeurs tegen het beste aanbod, of plaats een verzoek tegen de prijs die je wilt betalen. Verhuringen worden per uur gefactureerd. Prijzen worden exclusief belasting getoond en EverXCloud is de merchant of record voor elke huur.
Wees klaar op de dag van de lancering
Maak nu je account aan: je kunt je saldo opwaarderen en de GPU huren die bij je toepassing past zodra de markt opengaat.
Heb je GPU-servers?
Bedrijven kunnen zich aansluiten bij het EverXCloud Network en uren van hun GPU-servers op de spotbeurs verkopen.
Andere toepassingen
- GPU’s voor het fine-tunen van open modellen
LoRA- en QLoRA-adapters op één GPU, vanaf 24 GB.
- GPU’s voor LLM-inferentie
Serveer open modellen: wat in het geheugen past en hoe snel tokens komen.
- GPU’s voor beeld- en videogeneratie
Diffusiemodellen voor beeld en video, van kaarten van 24 GB tot GPU’s van 80 GB.
- GPU’s voor 3D-rendering en visuele effecten
Raytraced rendering, visuele effecten en realtime-engines.
- GPU’s voor wetenschappelijk rekenwerk en simulatie
Simulatie- en HPC-codes op datacenter-GPU’s met HBM-geheugen.