VRAM-Rechner: Wie viel VRAM braucht ein LLM?
Schätzen Sie den GPU-Speicher von Llama, Qwen, DeepSeek, Mistral, Gemma, FLUX und SDXL für Inferenz, LoRA oder Fine-Tuning und welche GPUs passen.
Dieser Rechner schätzt, wie viel GPU-Speicher ein Modell für Inferenz, LoRA oder vollständiges Fine-Tuning benötigt, anhand von Modellgröße, Präzision der Gewichte, Kontextlänge und Batchgröße. Er zeigt die GPUs, die das Modell allein oder mit 2, 4 oder 8 Karten aufnehmen.
VRAM eines Modells schätzen
Die Voreinstellungen verwenden die veröffentlichte Konfiguration des jeweiligen Modells (Schichten, Key/Value-Heads und Hidden Size). Wählen Sie „Benutzerdefiniert“, um die Werte eines anderen Modells aus dessen Konfigurationsdatei einzugeben.
- Gewichte
- 140 GB
- KV-Cache
- 2,7 GB
- Overhead
- 14,3 GB
- Geschätzter Gesamtbedarf
- 157 GB
GPUs, die das Modell aufnehmen
- NVIDIA B200 180GB1 × 180 GBDiese Konfiguration anfragen
- NVIDIA GB200 NVL1 × 186 GBDiese Konfiguration anfragen
- NVIDIA B300 288GB1 × 288 GBDiese Konfiguration anfragen
- NVIDIA GB300 NVL1 × 288 GBDiese Konfiguration anfragen
- NVIDIA A100 PCIe 80GB2 × 80 GBDiese Konfiguration anfragen
- NVIDIA A100 SXM 80GB2 × 80 GBDiese Konfiguration anfragen
- NVIDIA A800 PCIe 80GB2 × 80 GBDiese Konfiguration anfragen
- NVIDIA H100 PCIe 80GB2 × 80 GBDiese Konfiguration anfragen
- NVIDIA H100 SXM 80GB2 × 80 GBDiese Konfiguration anfragen
- NVIDIA H100 NVL 94GB2 × 94 GBDiese Konfiguration anfragen
- NVIDIA GH2002 × 96 GBDiese Konfiguration anfragen
- NVIDIA RTX PRO 6000 Blackwell 96GB2 × 96 GBDiese Konfiguration anfragen
Bei mehreren GPUs wird angenommen, dass das Modell auf sie verteilt wird (Tensor- oder Pipeline-Parallelismus); Interconnect- und Framework-Overhead sind nicht eingerechnet. Eine Kapazitätsanfrage reserviert keine GPUs und bestätigt weder Softwarekompatibilität noch Verfügbarkeit.
Die Seitenadresse speichert Ihre Eingaben.
VRAM beliebter offener Modelle
Inferenz-Schätzungen mit 8.192 Token Kontext, Batchgröße 1 und dem Standard-Overhead (10 % für Sprachmodelle, 20 % für Bild-Pipelines), berechnet mit den Formeln unten.
| Modell | BF16 | FP8 | INT4 | Kleinste einzelne GPU (INT4) |
|---|---|---|---|---|
| Llama 3.2 3B | 8 GB | 5 GB | 3 GB | NVIDIA GeForce GTX 1060 6GB |
| Llama 3.1 8B | 19 GB | 10 GB | 6 GB | NVIDIA GeForce GTX 1060 6GB |
| Llama 3.3 70B | 158 GB | 81 GB | 42 GB | NVIDIA A40 48GB |
| Llama 3.1 405B | 898 GB | 451 GB | 228 GB | NVIDIA B300 288GB |
| Llama 3.2 1B | 3 GB | 2 GB | 1 GB | NVIDIA GeForce GTX 1060 6GB |
| Llama 3.2 11B Vision | 25 GB | 13 GB | 7 GB | NVIDIA GeForce GTX 1070 8GB |
| Llama 4 Scout (109B) | 242 GB | 122 GB | 62 GB | NVIDIA RTX PRO 5000 Blackwell 72GB |
| Llama 4 Maverick (400B) | 882 GB | 442 GB | 222 GB | NVIDIA B300 288GB |
| Qwen2.5 7B | 17 GB | 9 GB | 5 GB | NVIDIA GeForce GTX 1060 6GB |
| Qwen2.5 14B | 34 GB | 18 GB | 10 GB | NVIDIA GeForce RTX 3080 10GB |
| Qwen2.5 32B | 75 GB | 38 GB | 20 GB | NVIDIA A10 24GB |
| Qwen2.5 72B | 163 GB | 83 GB | 43 GB | NVIDIA A40 48GB |
| Qwen3 8B | 19 GB | 10 GB | 6 GB | NVIDIA GeForce GTX 1060 6GB |
| Qwen3 32B | 75 GB | 38 GB | 20 GB | NVIDIA A10 24GB |
| Qwen3 4B | 10 GB | 6 GB | 4 GB | NVIDIA GeForce GTX 1060 6GB |
| Qwen3 14B | 34 GB | 18 GB | 10 GB | NVIDIA GeForce RTX 3080 10GB |
| Qwen3 30B A3B | 68 GB | 34 GB | 18 GB | NVIDIA RTX 4000 Ada 20GB |
| Qwen3 235B A22B | 519 GB | 260 GB | 131 GB | NVIDIA H200 141GB |
| Qwen2.5 VL 7B | 19 GB | 10 GB | 5 GB | NVIDIA GeForce GTX 1060 6GB |
| Qwen2.5 VL 72B | 164 GB | 84 GB | 43 GB | NVIDIA A40 48GB |
| DeepSeek R1 Distill Qwen 7B | 17 GB | 9 GB | 5 GB | NVIDIA GeForce GTX 1060 6GB |
| DeepSeek R1 Distill Llama 8B | 19 GB | 10 GB | 6 GB | NVIDIA GeForce GTX 1060 6GB |
| DeepSeek R1 Distill Qwen 14B | 34 GB | 18 GB | 10 GB | NVIDIA GeForce RTX 3080 10GB |
| DeepSeek R1 Distill Qwen 32B | 75 GB | 38 GB | 20 GB | NVIDIA A10 24GB |
| DeepSeek R1 Distill Llama 70B | 158 GB | 81 GB | 42 GB | NVIDIA A40 48GB |
| DeepSeek V3 / R1 (671B) | 1.477 GB | 739 GB | 370 GB | Mehrere GPUs |
| Kimi K2 (1T) | 2.258 GB | 1.129 GB | 565 GB | Mehrere GPUs |
| GLM-4.5 (355B) | 784 GB | 394 GB | 199 GB | NVIDIA B300 288GB |
| GLM-4.5 Air (106B) | 235 GB | 118 GB | 60 GB | NVIDIA RTX PRO 5000 Blackwell 72GB |
| Mistral 7B | 17 GB | 9 GB | 5 GB | NVIDIA GeForce GTX 1060 6GB |
| Mistral Small 24B | 53 GB | 27 GB | 14 GB | NVIDIA A16 16GB |
| Mixtral 8x7B | 104 GB | 53 GB | 27 GB | NVIDIA GeForce RTX 5090 32GB |
| Mistral Large 123B | 274 GB | 139 GB | 71 GB | NVIDIA RTX PRO 5000 Blackwell 72GB |
| Mistral NeMo 12B | 28 GB | 15 GB | 8 GB | NVIDIA GeForce RTX 3080 10GB |
| Codestral 22B | 51 GB | 26 GB | 14 GB | NVIDIA A16 16GB |
| Mistral Small 3.1 24B | 54 GB | 28 GB | 15 GB | NVIDIA A16 16GB |
| Gemma 2 9B | 23 GB | 13 GB | 8 GB | NVIDIA GeForce RTX 3080 10GB |
| Gemma 2 27B | 63 GB | 33 GB | 18 GB | NVIDIA RTX 4000 Ada 20GB |
| Gemma 3 4B | 11 GB | 6 GB | 4 GB | NVIDIA GeForce GTX 1060 6GB |
| Gemma 3 12B | 30 GB | 17 GB | 10 GB | NVIDIA GeForce GTX 1080 Ti 11GB |
| Gemma 3 27B | 65 GB | 35 GB | 20 GB | NVIDIA RTX 4000 Ada 20GB |
| Phi-4 mini (3.8B) | 10 GB | 5 GB | 3 GB | NVIDIA GeForce GTX 1060 6GB |
| Phi-4 (14B) | 34 GB | 18 GB | 10 GB | NVIDIA GeForce RTX 3080 10GB |
| FLUX.1 [dev] (image) | 41 GB | 20 GB | 10 GB | NVIDIA GeForce GTX 1080 Ti 11GB |
| Stable Diffusion XL (image) | 8 GB | 4 GB | 2 GB | NVIDIA GeForce GTX 1060 6GB |
| Stable Diffusion 3.5 Large (image) | 33 GB | 17 GB | 8 GB | NVIDIA GeForce RTX 3080 10GB |
| Wan 2.1 1.3B (video) | 17 GB | 9 GB | 4 GB | NVIDIA GeForce GTX 1060 6GB |
| Wan 2.1 14B (video) | 48 GB | 24 GB | 12 GB | NVIDIA A16 16GB |
| CogVideoX 5B (video) | 25 GB | 13 GB | 6 GB | NVIDIA GeForce GTX 1070 8GB |
| HunyuanVideo (video) | 50 GB | 25 GB | 12 GB | NVIDIA A16 16GB |
Diesen Rechner einbinden
Binden Sie den Rechner kostenlos in einen Blogbeitrag, einen Kurs oder eine Dokumentationsseite ein. Fügen Sie diesen HTML-Code an der gewünschten Stelle ein: Er läuft im Browser Ihrer Leser und behält den Quellenlink zu EverXCloud.
<iframe src="https://everxcloud.ai/embed/llm-vram-calculator" title="LLM VRAM calculator by EverXCloud" width="100%" height="1100" style="border:0;max-width:960px" loading="lazy" referrerpolicy="strict-origin-when-cross-origin" sandbox="allow-scripts allow-same-origin allow-popups allow-popups-to-escape-sandbox"></iframe>
<p><a href="https://everxcloud.ai/en/tools/llm-vram-calculator">LLM VRAM calculator</a> by EverXCloud</p>So wird die Schätzung berechnet
- Gewichte (GB) = Milliarden Parameter × Byte pro Parameter: 4 bei FP32, 2 bei BF16 oder FP16, 1 bei FP8 oder INT8, 0,5 bei INT4.
- KV-Cache (GB) = 2 × Schichten × KV-Dimension × Kontext-Token × Batchgröße × 2 Byte ÷ 10⁹, wobei Keys und Values in BF16 oder FP16 gespeichert werden. Die KV-Dimension ist die Anzahl der Key/Value-Heads × die Größe eines Heads.
- Gesamtbedarf Inferenz (GB) = (Gewichte + KV-Cache) × (1 + Overhead %); der Overhead deckt Aktivierungen, CUDA-Kontext und Laufzeitpuffer ab.
- LoRA-Fine-Tuning: eingefrorene Gewichte in der gewählten Präzision (QLoRA bei INT4) + Adapter, trainiert auf 1 % der Parameter (eine vorsichtige Obergrenze) mit je 16 Byte + Aktivierungen.
- Vollständiges Fine-Tuning: 16 Byte pro Parameter mit AdamW in BF16 Mixed Precision (2 für die Gewichte, 2 für die Gradienten, 4 für die FP32-Masterkopie, 8 für die beiden Adam-Momente) + Aktivierungen.
- Trainingsaktivierungen (GB) = Sequenz-Token × Batchgröße × Hidden Size × (2 × Schichten + 34) Byte ÷ 10⁹, mit Gradient Checkpointing und Fused Attention (Korthikanti et al., 2022), zuzüglich der Logits und ihres Gradienten: Sequenz-Token × Batchgröße × Vokabular × 8 Byte (FP32). SwiGLU-MLPs belegen etwas mehr als die gezählten 34 Byte; der Overhead in % gilt auch für den Trainingsbedarf.
- Bildmodelle (FLUX.1, SDXL) zählen die gesamte Pipeline (Denoiser, Text-Encoder und VAE) für ein Bild mit 1024 × 1024, mit 20 % Overhead und ohne KV-Cache.
- Ein Modell passt auf n GPUs, wenn n × der Speicher einer GPU ≥ dem Gesamtbedarf ist, unter der Annahme, dass es auf die GPUs verteilt wird.
Häufige Fragen
- Wie wird der VRAM-Bedarf eines LLM berechnet?
- Die Gewichte belegen Milliarden Parameter × Byte pro Parameter (2 bei BF16, 1 bei FP8 oder INT8, 0,5 bei INT4). Der KV-Cache kommt mit 2 × Schichten × KV-Dimension × Kontext-Token × Batchgröße × 2 Byte hinzu. Ein Aufschlag deckt Aktivierungen und Laufzeitpuffer ab.
- Wie viel VRAM braucht ein 70B-Modell?
- Die Gewichte belegen 140 GB in BF16, 70 GB in FP8 oder INT8 und 35 GB in INT4, noch ohne KV-Cache und Laufzeit-Overhead. In BF16 sind mehrere GPUs nötig oder eine einzelne GPU mit mehr als 140 GB Speicher.
- Wie viel VRAM braucht Llama 3.3 70B?
- Etwa 158 GB in BF16, 81 GB in FP8 und 42 GB in INT4, bei 8.192 Token Kontext, Batchgröße 1 und 10 % Overhead. Dafür braucht es in BF16 2 GPUs mit je 80 GB, in FP8 2 GPUs mit je 80 GB und in INT4 eine GPU mit 48 GB.
- Läuft DeepSeek R1 Distill Qwen 32B auf einer RTX 4090?
- Ja, in INT4: Das 32B-Distill-Modell benötigt in INT4 bei 8.192 Token Kontext etwa 20 GB und passt damit in die 24 GB einer RTX 4090. In BF16 benötigt es etwa 75 GB; dafür braucht es 4 GPUs mit je 24 GB oder eine einzelne GPU mit mehr Speicher. Längere Kontexte oder größere Batches vergrößern den KV-Cache.
- Wie viel VRAM braucht das Fine-Tuning eines LLM?
- Vollständiges Fine-Tuning mit AdamW belegt vor den Aktivierungen etwa 16 Byte pro Parameter: etwa 145 GB für Llama 3.1 8B mit Sequenzen von 2.048 Token. LoRA lässt das Basismodell eingefroren: etwa 22 GB mit BF16-Gewichten und etwa 9 GB mit QLoRA (INT4-Basis).
- Wie viel VRAM braucht FLUX.1 [dev]?
- Die vollständige Pipeline von FLUX.1 [dev] (Transformer, Text-Encoder T5-XXL und CLIP, VAE) benötigt für ein Bild mit 1024 × 1024 etwa 41 GB in BF16 und 20 GB in FP8. Wird der Text-Encoder nach dem Encoding des Prompts ausgelagert, rückt BF16 in Reichweite einer GPU mit 32 GB.
- Ist die Schätzung exakt?
- Nein. Der tatsächliche Bedarf hängt von der Modellarchitektur, der Inferenz-Engine, den Quantisierungs-Metadaten und der Speicherfragmentierung ab. Betrachten Sie das Ergebnis als Planungswert und testen Sie auf der Ziel-GPU, bevor Sie sich für eine lange Miete entscheiden.