GPU’s voor het fine-tunen van open modellen
Parameter-efficiënte fine-tuning traint kleine adapters bovenop een bevroren basismodel. De geheugenbehoefte daalt sterk, dus vaak volstaat één GPU: het basismodel moet alleen passen, in 16-bit met LoRA of in 4-bit met QLoRA, met ruimte over voor activaties.
GPU’s die passen bij fine-tuning
Veeg opzij om alle kolommen te zien.
| GPU | Geheugen | Bandbreedte | QLoRA, basismodel | LoRA 16-bit, basismodel | Prijs/u |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | ≈ 15B | ≈ 7B | vanaf US$ 0,33 |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | ≈ 25B | ≈ 10B | vanaf US$ 0,69 |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35B | ≈ 15B | vanaf US$ 0,33 |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35B | ≈ 15B | vanaf US$ 0,79 |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35B | ≈ 15B | vanaf US$ 0,74 |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | ≈ 60B | ≈ 25B | vanaf US$ 1,79 |
| H100 SXMHopper | 80 GB | 3.350 GB/s | ≈ 60B | ≈ 25B | vanaf US$ 2,88 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | ≈ 75B | ≈ 30B | vanaf US$ 1,69 |
| H200Hopper | 141 GB | 4.800 GB/s | ≈ 110B | ≈ 45B | vanaf US$ 4,19 |
Specificaties van de fabrikant, per GPU; tensordoorvoer zonder sparsity. Modelgroottes zijn voorzichtige schattingen in miljarden parameters, waarbij 80% van het geheugen wordt gerekend; contextlengte, batchgrootte en framework veranderen de echte limiet. Prijzen zijn het beste live aanbod voor één GPU per uur, exclusief belasting.
Alle GPU-modellenWat telt bij fine-tuning
LoRA of QLoRA
LoRA houdt het basismodel in 16-bit en traint low-rank-adapters: ongeveer 2 bytes per parameter voor de bevroren gewichten. QLoRA kwantiseert het basismodel naar 4-bit, ruim onder 1 byte per parameter, ten koste van tragere stappen. De tabel schat voor elk het grootste basismodel, met marge.
Sequentielengte en batchgrootte
Activaties groeien met de sequentielengte en de batchgrootte. Fine-tuning met lange context vraagt meer marge dan de schattingen aannemen; gradient checkpointing en kleinere micro-batches ruilen snelheid in voor geheugen.
Eerst één GPU
Een kaart van 24 GB of 32 GB is genoeg om veel modellen van 7 tot 14 miljard parameters met QLoRA te fine-tunen. Stap over op GPU’s van 48 GB of 80 GB voor 16-bit-LoRA op grotere modellen, of op meerdere GPU’s voor volledige fine-tuning.
Vergelijk GPU’s voor fine-tuning
GPU’s voor het fine-tunen van open modellen: veelgestelde vragen
Welke GPU heb ik nodig om een 7B-model te fine-tunen?
Met QLoRA is een GPU van 24 GB zoals de RTX 4090 meestal genoeg voor een model van 7 of 8 miljard parameters bij gematigde sequentielengtes. Met 16-bit-LoRA biedt een GPU van 48 GB ruime marge.
Is QLoRA trager dan LoRA?
Meestal wel: de 4-bit-gewichten worden bij elke stap gedekwantiseerd. QLoRA levert wat snelheid in voor een veel kleiner geheugengebruik, waardoor een goedkopere GPU of een groter basismodel past.
Wanneer heb ik toch volledige fine-tuning nodig?
Als adapters niet volstaan voor de gewenste verandering, wordt elk gewicht getraind en keert de geheugenbehoefte terug naar die van training, ongeveer 16 bytes per parameter. Zie de pagina over LLM-training voor geschikte GPU’s.
Hoe huur ik een GPU voor fine-tuning op EverXCloud?
Maak een account aan, waardeer je prepaid saldo op in euro, Amerikaanse dollars of ponden en koop dan GPU-uren op de spotbeurs tegen het beste aanbod, of plaats een verzoek tegen de prijs die je wilt betalen. Verhuringen worden per uur gefactureerd. Prijzen worden exclusief belasting getoond en EverXCloud is de merchant of record voor elke huur.
Wees klaar op de dag van de lancering
Maak nu je account aan: je kunt je saldo opwaarderen en de GPU huren die bij je toepassing past zodra de markt opengaat.
Heb je GPU-servers?
Bedrijven kunnen zich aansluiten bij het EverXCloud Network en uren van hun GPU-servers op de spotbeurs verkopen.
Andere toepassingen
- GPU’s voor het trainen van grote taalmodellen
Pre-training en volledige fine-tuning op datacenter-GPU’s met HBM-geheugen.
- GPU’s voor LLM-inferentie
Serveer open modellen: wat in het geheugen past en hoe snel tokens komen.
- GPU’s voor beeld- en videogeneratie
Diffusiemodellen voor beeld en video, van kaarten van 24 GB tot GPU’s van 80 GB.
- GPU’s voor 3D-rendering en visuele effecten
Raytraced rendering, visuele effecten en realtime-engines.
- GPU’s voor wetenschappelijk rekenwerk en simulatie
Simulatie- en HPC-codes op datacenter-GPU’s met HBM-geheugen.