GPUs für das Fine-Tuning offener Modelle
Parametereffizientes Fine-Tuning trainiert kleine Adapter auf einem eingefrorenen Basismodell. Der Speicherbedarf sinkt deutlich, und oft genügt eine einzige GPU: Nur das Basismodell muss hineinpassen, in 16 Bit mit LoRA oder in 4 Bit mit QLoRA, mit Reserve für die Aktivierungen.
Passende GPUs für Fine-Tuning
Seitlich wischen, um alle Spalten zu sehen.
| GPU | Speicher | Bandbreite | QLoRA, Basismodell | LoRA 16 Bit, Basismodell | Preis/Std. |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | ≈ 15 Mrd. | ≈ 7 Mrd. | ab 0,33 $ |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | ≈ 25 Mrd. | ≈ 10 Mrd. | ab 0,69 $ |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35 Mrd. | ≈ 15 Mrd. | ab 0,33 $ |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35 Mrd. | ≈ 15 Mrd. | ab 0,79 $ |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35 Mrd. | ≈ 15 Mrd. | ab 0,74 $ |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | ≈ 60 Mrd. | ≈ 25 Mrd. | ab 1,79 $ |
| H100 SXMHopper | 80 GB | 3.350 GB/s | ≈ 60 Mrd. | ≈ 25 Mrd. | ab 2,88 $ |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | ≈ 75 Mrd. | ≈ 30 Mrd. | ab 1,69 $ |
| H200Hopper | 141 GB | 4.800 GB/s | ≈ 110 Mrd. | ≈ 45 Mrd. | ab 4,19 $ |
Herstellerangaben pro GPU; Tensor-Durchsatz ohne Sparsity. Modellgrößen sind vorsichtige Schätzungen in Milliarden Parametern bei 80 % des Speichers; Kontextlänge, Batchgröße und Framework verändern die tatsächliche Grenze. Die Preise sind das beste Live-Angebot für eine GPU pro Stunde, zzgl. Steuern.
Alle GPU-ModelleWorauf es bei Fine-Tuning ankommt
LoRA oder QLoRA
LoRA behält das Basismodell in 16 Bit und trainiert Adapter mit niedrigem Rang: etwa 2 Byte pro Parameter für die eingefrorenen Gewichte. QLoRA quantisiert das Basismodell auf 4 Bit und senkt das deutlich unter 1 Byte pro Parameter, auf Kosten langsamerer Schritte. Die Tabelle schätzt jeweils das größte Basismodell, mit Reserve.
Sequenzlänge und Batchgröße
Die Aktivierungen wachsen mit Sequenzlänge und Batchgröße. Fine-Tuning mit langem Kontext braucht mehr Reserve, als die Schätzungen annehmen; Gradient Checkpointing und kleinere Micro-Batches tauschen Geschwindigkeit gegen Speicher.
Zuerst eine GPU
Eine Karte mit 24 oder 32 GB reicht, um viele Modelle mit 7 bis 14 Milliarden Parametern mit QLoRA feinabzustimmen. Wechseln Sie für LoRA in 16 Bit auf größeren Modellen zu GPUs mit 48 oder 80 GB, oder für vollständiges Fine-Tuning zu mehreren GPUs.
GPUs für Fine-Tuning vergleichen
GPUs für das Fine-Tuning offener Modelle: häufig gestellte Fragen
Welche GPU brauche ich für das Fine-Tuning eines 7B-Modells?
Mit QLoRA reicht eine GPU mit 24 GB wie die RTX 4090 meist für ein Modell mit 7 oder 8 Milliarden Parametern bei moderaten Sequenzlängen. Mit LoRA in 16 Bit lässt eine GPU mit 48 GB komfortable Reserve.
Ist QLoRA langsamer als LoRA?
In der Regel ja: Die 4-Bit-Gewichte werden bei jedem Schritt dequantisiert. QLoRA tauscht etwas Geschwindigkeit gegen einen viel kleineren Speicherbedarf, sodass eine günstigere GPU oder ein größeres Basismodell passt.
Wann brauche ich stattdessen ein vollständiges Fine-Tuning?
Wenn Adapter für die gewünschte Änderung nicht ausreichen, werden alle Gewichte trainiert, und der Speicherbedarf entspricht wieder dem des Trainings, etwa 16 Byte pro Parameter. Passende GPUs finden Sie auf der Seite LLM-Training.
Wie miete ich bei EverXCloud eine GPU für Fine-Tuning?
Erstellen Sie ein Konto, laden Sie Ihr Prepaid-Guthaben in Euro, US-Dollar oder Pfund auf und kaufen Sie dann GPU-Stunden an der Spot-Börse zum besten Angebot, oder geben Sie ein Gesuch zu dem Preis auf, den Sie zu zahlen bereit sind. Die Miete wird stundenweise abgerechnet. Die Preise werden zzgl. Steuern angezeigt, und EverXCloud ist bei jeder Anmietung Verkäufer im eigenen Namen (Merchant of Record).
Am Starttag bereit sein
Erstellen Sie jetzt Ihr Konto: Sie können Ihr Guthaben aufladen und die passende GPU für Ihren Workload mieten, sobald der Markt öffnet.
Sie haben GPU-Server?
Unternehmen können dem EverXCloud Network beitreten und Stunden ihrer GPU-Server an der Spot-Börse verkaufen.
Weitere Einsatzbereiche
- GPUs für das Training großer Sprachmodelle
Pre-Training und vollständiges Fine-Tuning auf Rechenzentrums-GPUs mit HBM-Speicher.
- GPUs für LLM-Inferenz
Offene Modelle bereitstellen: was in den Speicher passt und wie schnell die Token kommen.
- GPUs für Bild- und Videogenerierung
Diffusionsmodelle für Bild und Video, von Karten mit 24 GB bis zu GPUs mit 80 GB.
- GPUs für 3D-Rendering und visuelle Effekte
Raytracing-Rendering, visuelle Effekte und Echtzeit-Engines.
- GPUs für wissenschaftliches Rechnen und Simulation
Simulations- und HPC-Codes auf Rechenzentrums-GPUs mit HBM-Speicher.