GPUs für LLM-Inferenz
Das Bereitstellen eines Sprachmodells hat zwei Grenzen: Gewichte und KV-Cache müssen in den GPU-Speicher passen, und jedes erzeugte Token liest die Gewichte erneut aus dem Speicher. Die Speichergröße entscheidet, welche Modelle Sie bereitstellen können; die Speicherbandbreite entscheidet weitgehend, wie schnell sie antworten.
Passende GPUs für LLM-Inferenz
Seitlich wischen, um alle Spalten zu sehen.
| GPU | Speicher | Bandbreite | FP8-Tensor | Inferenz, 16 Bit | Inferenz, 4 Bit | Preis/Std. |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9 Mrd. | ≈ 30 Mrd. | ab 0,44 $ |
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | Nicht veröffentlicht | ≈ 9 Mrd. | ≈ 30 Mrd. | ab 0,33 $ |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | Nicht veröffentlicht | ≈ 10 Mrd. | ≈ 40 Mrd. | ab 0,69 $ |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15 Mrd. | ≈ 60 Mrd. | ab 0,79 $ |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | Nicht veröffentlicht | ≈ 35 Mrd. | ≈ 120 Mrd. | ab 1,69 $ |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | Nicht veröffentlicht | ≈ 30 Mrd. | ≈ 100 Mrd. | ab 1,79 $ |
| H100 SXMHopper | 80 GB | 3.350 GB/s | 1.979 TFLOPS | ≈ 30 Mrd. | ≈ 100 Mrd. | ab 2,88 $ |
| H200Hopper | 141 GB | 4.800 GB/s | 1.979 TFLOPS | ≈ 55 Mrd. | ≈ 180 Mrd. | ab 4,19 $ |
| MI300XCDNA 3 | 192 GB | 5.300 GB/s | 2.614 TFLOPS | ≈ 75 Mrd. | ≈ 250 Mrd. | ab 4,16 $ |
Herstellerangaben pro GPU; Tensor-Durchsatz ohne Sparsity. Modellgrößen sind vorsichtige Schätzungen in Milliarden Parametern bei 80 % des Speichers; Kontextlänge, Batchgröße und Framework verändern die tatsächliche Grenze. Die Preise sind das beste Live-Angebot für eine GPU pro Stunde, zzgl. Steuern.
Alle GPU-ModelleWorauf es bei LLM-Inferenz ankommt
Erst das Modell, dann der Cache
Ein Modell braucht etwa 2 Byte pro Parameter in 16 Bit und etwa ein halbes Byte bei 4-Bit-Quantisierung. Der KV-Cache wächst mit der Kontextlänge und der Zahl gleichzeitiger Anfragen; deshalb halten die Schätzungen 20 % des Speichers frei.
Die Bandbreite bestimmt die Token pro Sekunde
Bei kleinen Batchgrößen ist die Token-Erzeugung durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung: Eine GPU mit doppelter Bandbreite erzeugt auf demselben Modell etwa doppelt so schnell Token. Vergleichen Sie für Chat- und Agenten-Workloads zuerst die Bandbreitenspalte.
Durchsatz und FP8
Bei Batch-Jobs und hoher Parallelität zählt der Tensor-Durchsatz mehr. Hopper, Ada Lovelace und neuere GPUs unterstützen FP8, das den Speicher der Gewichte gegenüber 16 Bit halbiert und Serving-Engines beschleunigt, die es unterstützen.
GPUs für LLM-Inferenz vergleichen
GPUs für LLM-Inferenz: häufig gestellte Fragen
Welche GPU brauche ich für ein 70B-Modell?
Bei 4-Bit-Quantisierung braucht ein Modell mit 70 Milliarden Parametern allein für die Gewichte etwa 40 GB: Eine GPU mit 48 GB ist knapp, eine GPU mit 80 GB lässt Platz für den Cache. In 16 Bit braucht es etwa 140 GB für die Gewichte, also mindestens zwei GPUs mit 80 GB.
Eignet sich eine RTX 4090 für die Inferenz?
Für Modelle bis etwa 30 Milliarden Parameter in 4 Bit ja: Sie hat 24 GB Speicher und etwa 1 TB/s Bandbreite. Größere Modelle und lange Kontexte brauchen mehr Speicher pro GPU.
Sollte ich mein Modell quantisieren?
Eine Quantisierung auf 8 oder 4 Bit lässt ein größeres Modell passen und beschleunigt meist die Erzeugung, mit einem kleinen Qualitätsverlust, der von Modell und Methode abhängt. Testen Sie die Qualität mit Ihren eigenen Prompts, bevor Sie das Modell bereitstellen.
Wie miete ich bei EverXCloud eine GPU für LLM-Inferenz?
Erstellen Sie ein Konto, laden Sie Ihr Prepaid-Guthaben in Euro, US-Dollar oder Pfund auf und kaufen Sie dann GPU-Stunden an der Spot-Börse zum besten Angebot, oder geben Sie ein Gesuch zu dem Preis auf, den Sie zu zahlen bereit sind. Die Miete wird stundenweise abgerechnet. Die Preise werden zzgl. Steuern angezeigt, und EverXCloud ist bei jeder Anmietung Verkäufer im eigenen Namen (Merchant of Record).
Am Starttag bereit sein
Erstellen Sie jetzt Ihr Konto: Sie können Ihr Guthaben aufladen und die passende GPU für Ihren Workload mieten, sobald der Markt öffnet.
Sie haben GPU-Server?
Unternehmen können dem EverXCloud Network beitreten und Stunden ihrer GPU-Server an der Spot-Börse verkaufen.
Weitere Einsatzbereiche
- GPUs für das Training großer Sprachmodelle
Pre-Training und vollständiges Fine-Tuning auf Rechenzentrums-GPUs mit HBM-Speicher.
- GPUs für das Fine-Tuning offener Modelle
LoRA- und QLoRA-Adapter auf einer einzigen GPU, ab 24 GB.
- GPUs für Bild- und Videogenerierung
Diffusionsmodelle für Bild und Video, von Karten mit 24 GB bis zu GPUs mit 80 GB.
- GPUs für 3D-Rendering und visuelle Effekte
Raytracing-Rendering, visuelle Effekte und Echtzeit-Engines.
- GPUs für wissenschaftliches Rechnen und Simulation
Simulations- und HPC-Codes auf Rechenzentrums-GPUs mit HBM-Speicher.