GPUs für das Training großer Sprachmodelle
Ein Modell von Grund auf zu trainieren oder alle Gewichte vollständig feinabzustimmen braucht weit mehr Speicher, als es auszuführen: Gewichte, Gradienten und Optimizer-Zustände liegen alle auf der GPU. Rechenzentrums-GPUs mit HBM-Speicher, schnellen Tensor-Kernen und einer Verbindung zwischen den GPUs sind die praktische Wahl.
Passende GPUs für LLM-Training
Seitlich wischen, um alle Spalten zu sehen.
| GPU | Speicher | Speichertyp | Bandbreite | BF16-Tensor | Volltraining, 1 GPU | Volltraining, 8 GPUs | Preis/Std. |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | Nicht veröffentlicht | Nicht veröffentlicht | ≈ 10 Mrd. | ≈ 110 Mrd. | ab 8,99 $ |
| B200Blackwell | 180 GB | HBM3e | Nicht veröffentlicht | Nicht veröffentlicht | ≈ 9 Mrd. | ≈ 70 Mrd. | ab 7,99 $ |
| MI325XCDNA 3 | 256 GB | HBM3e | 6.000 GB/s | 1.307 TFLOPS | ≈ 10 Mrd. | ≈ 100 Mrd. | ab 4,82 $ |
| MI300XCDNA 3 | 192 GB | HBM3 | 5.300 GB/s | 1.307 TFLOPS | ≈ 9 Mrd. | ≈ 75 Mrd. | ab 4,16 $ |
| H200Hopper | 141 GB | HBM3e | 4.800 GB/s | 989 TFLOPS | ≈ 7 Mrd. | ≈ 55 Mrd. | ab 4,19 $ |
| H100 NVLHopper | 94 GB | HBM3 | 3.900 GB/s | 835 TFLOPS | ≈ 4 Mrd. | ≈ 35 Mrd. | ab 3,19 $ |
| H100 SXMHopper | 80 GB | HBM3 | 3.350 GB/s | 989 TFLOPS | ≈ 4 Mrd. | ≈ 30 Mrd. | ab 2,88 $ |
| A100 SXMAmpere | 80 GB | HBM2e | 2.039 GB/s | 312 TFLOPS | ≈ 4 Mrd. | ≈ 30 Mrd. | ab 1,79 $ |
| A100 PCIeAmpere | 80 GB | HBM2e | 1.935 GB/s | 312 TFLOPS | ≈ 4 Mrd. | ≈ 30 Mrd. | ab 1,79 $ |
Herstellerangaben pro GPU; Tensor-Durchsatz ohne Sparsity. Modellgrößen sind vorsichtige Schätzungen in Milliarden Parametern bei 80 % des Speichers; Kontextlänge, Batchgröße und Framework verändern die tatsächliche Grenze. Die Preise sind das beste Live-Angebot für eine GPU pro Stunde, zzgl. Steuern.
Alle GPU-ModelleWorauf es bei LLM-Training ankommt
Der Speicher bestimmt die Modellgröße
Training in gemischter Präzision mit dem Adam-Optimizer braucht etwa 16 Byte pro Parameter, ohne Aktivierungen. Eine GPU mit 80 GB trainiert daher Modelle mit einigen Milliarden Parametern; größere Modelle werden mit geshardeter Datenparallelität (FSDP, ZeRO) oder Tensor-Parallelität auf 8 oder mehr GPUs verteilt.
Tensor-Durchsatz und Präzision
Training läuft überwiegend in BF16, neuere GPUs ergänzen FP8. Der dichte Tensor-Durchsatz ist es, der sich in Token pro Sekunde niederschlägt: Vergleichen Sie die BF16-Spalte und beachten Sie, dass mit Sparsity veröffentlichte Werte doppelt so hoch sind wie der dichte Wert.
Interconnect für Multi-GPU-Jobs
Sobald ein Modell auf mehrere GPUs verteilt ist, tauschen sie bei jedem Schritt Gradienten aus. SXM-Boards mit NVLink oder AMD Infinity Fabric halten diesen Austausch schnell; PCIe-Karten eignen sich für kleinere Jobs und Datenparallelität, bei der jede GPU eine vollständige Kopie des Modells hält.
GPUs für LLM-Training vergleichen
GPUs für das Training großer Sprachmodelle: häufig gestellte Fragen
Wie viel GPU-Speicher brauche ich, um ein LLM zu trainieren?
Als vorsichtige Faustregel etwa 16 Byte pro Parameter für Gewichte, Gradienten und Adam-Zustände in gemischter Präzision, dazu die Aktivierungen. Ein Modell mit 7 Milliarden Parametern braucht insgesamt mehr als 100 GB und wird daher auf mehreren GPUs mit 80 GB trainiert oder auf weniger GPUs mit Sharding und Activation Checkpointing.
H100 oder A100 für das Training?
Beide haben 80 GB Speicher. Die H100 SXM gibt etwa den dreifachen dichten BF16-Tensor-Durchsatz der A100 SXM an und ergänzt FP8, bei höherer Speicherbandbreite; die A100 bleibt eine solide Wahl für Jobs, die nicht durch die Rechenleistung begrenzt sind.
Kann ich auf GeForce-Karten trainieren?
Für kleine Modelle und Experimente ja. Bei größeren Läufen begrenzen 24 bis 32 GB pro Karte und das Fehlen einer schnellen Verbindung zwischen den GPUs die Skalierung; deshalb stehen auf dieser Seite zuerst Rechenzentrums-GPUs.
Wie miete ich bei EverXCloud eine GPU für LLM-Training?
Erstellen Sie ein Konto, laden Sie Ihr Prepaid-Guthaben in Euro, US-Dollar oder Pfund auf und kaufen Sie dann GPU-Stunden an der Spot-Börse zum besten Angebot, oder geben Sie ein Gesuch zu dem Preis auf, den Sie zu zahlen bereit sind. Die Miete wird stundenweise abgerechnet. Die Preise werden zzgl. Steuern angezeigt, und EverXCloud ist bei jeder Anmietung Verkäufer im eigenen Namen (Merchant of Record).
Am Starttag bereit sein
Erstellen Sie jetzt Ihr Konto: Sie können Ihr Guthaben aufladen und die passende GPU für Ihren Workload mieten, sobald der Markt öffnet.
Sie haben GPU-Server?
Unternehmen können dem EverXCloud Network beitreten und Stunden ihrer GPU-Server an der Spot-Börse verkaufen.
Weitere Einsatzbereiche
- GPUs für das Fine-Tuning offener Modelle
LoRA- und QLoRA-Adapter auf einer einzigen GPU, ab 24 GB.
- GPUs für LLM-Inferenz
Offene Modelle bereitstellen: was in den Speicher passt und wie schnell die Token kommen.
- GPUs für Bild- und Videogenerierung
Diffusionsmodelle für Bild und Video, von Karten mit 24 GB bis zu GPUs mit 80 GB.
- GPUs für 3D-Rendering und visuelle Effekte
Raytracing-Rendering, visuelle Effekte und Echtzeit-Engines.
- GPUs für wissenschaftliches Rechnen und Simulation
Simulations- und HPC-Codes auf Rechenzentrums-GPUs mit HBM-Speicher.