Zum Inhalt springen

VRAM-Rechner: Wie viel VRAM braucht ein LLM?

Schätzen Sie den GPU-Speicher von Llama, Qwen, DeepSeek, Mistral, Gemma, FLUX und SDXL für Inferenz, LoRA oder Fine-Tuning und welche GPUs passen.

Dieser Rechner schätzt, wie viel GPU-Speicher ein Modell für Inferenz, LoRA oder vollständiges Fine-Tuning benötigt, anhand von Modellgröße, Präzision der Gewichte, Kontextlänge und Batchgröße. Er zeigt die GPUs, die das Modell allein oder mit 2, 4 oder 8 Karten aufnehmen.

VRAM eines Modells schätzen

Die Voreinstellungen verwenden die veröffentlichte Konfiguration des jeweiligen Modells (Schichten, Key/Value-Heads und Hidden Size). Wählen Sie „Benutzerdefiniert“, um die Werte eines anderen Modells aus dessen Konfigurationsdatei einzugeben.

Gewichte
140 GB
KV-Cache
2,7 GB
Overhead
14,3 GB
Geschätzter Gesamtbedarf
157 GB

GPUs, die das Modell aufnehmen

Bei mehreren GPUs wird angenommen, dass das Modell auf sie verteilt wird (Tensor- oder Pipeline-Parallelismus); Interconnect- und Framework-Overhead sind nicht eingerechnet. Eine Kapazitätsanfrage reserviert keine GPUs und bestätigt weder Softwarekompatibilität noch Verfügbarkeit.

Die Seitenadresse speichert Ihre Eingaben.

VRAM beliebter offener Modelle

Inferenz-Schätzungen mit 8.192 Token Kontext, Batchgröße 1 und dem Standard-Overhead (10 % für Sprachmodelle, 20 % für Bild-Pipelines), berechnet mit den Formeln unten.

Geschätzter VRAM-Bedarf für die Inferenz nach Modell und Präzision der Gewichte
Llama 3.2 3B8 GB5 GB3 GBNVIDIA GeForce GTX 1060 6GB
Llama 3.1 8B19 GB10 GB6 GBNVIDIA GeForce GTX 1060 6GB
Llama 3.3 70B158 GB81 GB42 GBNVIDIA A40 48GB
Llama 3.1 405B898 GB451 GB228 GBNVIDIA B300 288GB
Llama 3.2 1B3 GB2 GB1 GBNVIDIA GeForce GTX 1060 6GB
Llama 3.2 11B Vision25 GB13 GB7 GBNVIDIA GeForce GTX 1070 8GB
Llama 4 Scout (109B)242 GB122 GB62 GBNVIDIA RTX PRO 5000 Blackwell 72GB
Llama 4 Maverick (400B)882 GB442 GB222 GBNVIDIA B300 288GB
Qwen2.5 7B17 GB9 GB5 GBNVIDIA GeForce GTX 1060 6GB
Qwen2.5 14B34 GB18 GB10 GBNVIDIA GeForce RTX 3080 10GB
Qwen2.5 32B75 GB38 GB20 GBNVIDIA A10 24GB
Qwen2.5 72B163 GB83 GB43 GBNVIDIA A40 48GB
Qwen3 8B19 GB10 GB6 GBNVIDIA GeForce GTX 1060 6GB
Qwen3 32B75 GB38 GB20 GBNVIDIA A10 24GB
Qwen3 4B10 GB6 GB4 GBNVIDIA GeForce GTX 1060 6GB
Qwen3 14B34 GB18 GB10 GBNVIDIA GeForce RTX 3080 10GB
Qwen3 30B A3B68 GB34 GB18 GBNVIDIA RTX 4000 Ada 20GB
Qwen3 235B A22B519 GB260 GB131 GBNVIDIA H200 141GB
Qwen2.5 VL 7B19 GB10 GB5 GBNVIDIA GeForce GTX 1060 6GB
Qwen2.5 VL 72B164 GB84 GB43 GBNVIDIA A40 48GB
DeepSeek R1 Distill Qwen 7B17 GB9 GB5 GBNVIDIA GeForce GTX 1060 6GB
DeepSeek R1 Distill Llama 8B19 GB10 GB6 GBNVIDIA GeForce GTX 1060 6GB
DeepSeek R1 Distill Qwen 14B34 GB18 GB10 GBNVIDIA GeForce RTX 3080 10GB
DeepSeek R1 Distill Qwen 32B75 GB38 GB20 GBNVIDIA A10 24GB
DeepSeek R1 Distill Llama 70B158 GB81 GB42 GBNVIDIA A40 48GB
DeepSeek V3 / R1 (671B)1.477 GB739 GB370 GBMehrere GPUs
Kimi K2 (1T)2.258 GB1.129 GB565 GBMehrere GPUs
GLM-4.5 (355B)784 GB394 GB199 GBNVIDIA B300 288GB
GLM-4.5 Air (106B)235 GB118 GB60 GBNVIDIA RTX PRO 5000 Blackwell 72GB
Mistral 7B17 GB9 GB5 GBNVIDIA GeForce GTX 1060 6GB
Mistral Small 24B53 GB27 GB14 GBNVIDIA A16 16GB
Mixtral 8x7B104 GB53 GB27 GBNVIDIA GeForce RTX 5090 32GB
Mistral Large 123B274 GB139 GB71 GBNVIDIA RTX PRO 5000 Blackwell 72GB
Mistral NeMo 12B28 GB15 GB8 GBNVIDIA GeForce RTX 3080 10GB
Codestral 22B51 GB26 GB14 GBNVIDIA A16 16GB
Mistral Small 3.1 24B54 GB28 GB15 GBNVIDIA A16 16GB
Gemma 2 9B23 GB13 GB8 GBNVIDIA GeForce RTX 3080 10GB
Gemma 2 27B63 GB33 GB18 GBNVIDIA RTX 4000 Ada 20GB
Gemma 3 4B11 GB6 GB4 GBNVIDIA GeForce GTX 1060 6GB
Gemma 3 12B30 GB17 GB10 GBNVIDIA GeForce GTX 1080 Ti 11GB
Gemma 3 27B65 GB35 GB20 GBNVIDIA RTX 4000 Ada 20GB
Phi-4 mini (3.8B)10 GB5 GB3 GBNVIDIA GeForce GTX 1060 6GB
Phi-4 (14B)34 GB18 GB10 GBNVIDIA GeForce RTX 3080 10GB
FLUX.1 [dev] (image)41 GB20 GB10 GBNVIDIA GeForce GTX 1080 Ti 11GB
Stable Diffusion XL (image)8 GB4 GB2 GBNVIDIA GeForce GTX 1060 6GB
Stable Diffusion 3.5 Large (image)33 GB17 GB8 GBNVIDIA GeForce RTX 3080 10GB
Wan 2.1 1.3B (video)17 GB9 GB4 GBNVIDIA GeForce GTX 1060 6GB
Wan 2.1 14B (video)48 GB24 GB12 GBNVIDIA A16 16GB
CogVideoX 5B (video)25 GB13 GB6 GBNVIDIA GeForce GTX 1070 8GB
HunyuanVideo (video)50 GB25 GB12 GBNVIDIA A16 16GB

Diesen Rechner einbinden

Binden Sie den Rechner kostenlos in einen Blogbeitrag, einen Kurs oder eine Dokumentationsseite ein. Fügen Sie diesen HTML-Code an der gewünschten Stelle ein: Er läuft im Browser Ihrer Leser und behält den Quellenlink zu EverXCloud.

<iframe src="https://everxcloud.ai/embed/llm-vram-calculator" title="LLM VRAM calculator by EverXCloud" width="100%" height="1100" style="border:0;max-width:960px" loading="lazy" referrerpolicy="strict-origin-when-cross-origin" sandbox="allow-scripts allow-same-origin allow-popups allow-popups-to-escape-sandbox"></iframe>
<p><a href="https://everxcloud.ai/en/tools/llm-vram-calculator">LLM VRAM calculator</a> by EverXCloud</p>

So wird die Schätzung berechnet

  • Gewichte (GB) = Milliarden Parameter × Byte pro Parameter: 4 bei FP32, 2 bei BF16 oder FP16, 1 bei FP8 oder INT8, 0,5 bei INT4.
  • KV-Cache (GB) = 2 × Schichten × KV-Dimension × Kontext-Token × Batchgröße × 2 Byte ÷ 10⁹, wobei Keys und Values in BF16 oder FP16 gespeichert werden. Die KV-Dimension ist die Anzahl der Key/Value-Heads × die Größe eines Heads.
  • Gesamtbedarf Inferenz (GB) = (Gewichte + KV-Cache) × (1 + Overhead %); der Overhead deckt Aktivierungen, CUDA-Kontext und Laufzeitpuffer ab.
  • LoRA-Fine-Tuning: eingefrorene Gewichte in der gewählten Präzision (QLoRA bei INT4) + Adapter, trainiert auf 1 % der Parameter (eine vorsichtige Obergrenze) mit je 16 Byte + Aktivierungen.
  • Vollständiges Fine-Tuning: 16 Byte pro Parameter mit AdamW in BF16 Mixed Precision (2 für die Gewichte, 2 für die Gradienten, 4 für die FP32-Masterkopie, 8 für die beiden Adam-Momente) + Aktivierungen.
  • Trainingsaktivierungen (GB) = Sequenz-Token × Batchgröße × Hidden Size × (2 × Schichten + 34) Byte ÷ 10⁹, mit Gradient Checkpointing und Fused Attention (Korthikanti et al., 2022), zuzüglich der Logits und ihres Gradienten: Sequenz-Token × Batchgröße × Vokabular × 8 Byte (FP32). SwiGLU-MLPs belegen etwas mehr als die gezählten 34 Byte; der Overhead in % gilt auch für den Trainingsbedarf.
  • Bildmodelle (FLUX.1, SDXL) zählen die gesamte Pipeline (Denoiser, Text-Encoder und VAE) für ein Bild mit 1024 × 1024, mit 20 % Overhead und ohne KV-Cache.
  • Ein Modell passt auf n GPUs, wenn n × der Speicher einer GPU ≥ dem Gesamtbedarf ist, unter der Annahme, dass es auf die GPUs verteilt wird.

Häufige Fragen

Wie wird der VRAM-Bedarf eines LLM berechnet?
Die Gewichte belegen Milliarden Parameter × Byte pro Parameter (2 bei BF16, 1 bei FP8 oder INT8, 0,5 bei INT4). Der KV-Cache kommt mit 2 × Schichten × KV-Dimension × Kontext-Token × Batchgröße × 2 Byte hinzu. Ein Aufschlag deckt Aktivierungen und Laufzeitpuffer ab.
Wie viel VRAM braucht ein 70B-Modell?
Die Gewichte belegen 140 GB in BF16, 70 GB in FP8 oder INT8 und 35 GB in INT4, noch ohne KV-Cache und Laufzeit-Overhead. In BF16 sind mehrere GPUs nötig oder eine einzelne GPU mit mehr als 140 GB Speicher.
Wie viel VRAM braucht Llama 3.3 70B?
Etwa 158 GB in BF16, 81 GB in FP8 und 42 GB in INT4, bei 8.192 Token Kontext, Batchgröße 1 und 10 % Overhead. Dafür braucht es in BF16 2 GPUs mit je 80 GB, in FP8 2 GPUs mit je 80 GB und in INT4 eine GPU mit 48 GB.
Läuft DeepSeek R1 Distill Qwen 32B auf einer RTX 4090?
Ja, in INT4: Das 32B-Distill-Modell benötigt in INT4 bei 8.192 Token Kontext etwa 20 GB und passt damit in die 24 GB einer RTX 4090. In BF16 benötigt es etwa 75 GB; dafür braucht es 4 GPUs mit je 24 GB oder eine einzelne GPU mit mehr Speicher. Längere Kontexte oder größere Batches vergrößern den KV-Cache.
Wie viel VRAM braucht das Fine-Tuning eines LLM?
Vollständiges Fine-Tuning mit AdamW belegt vor den Aktivierungen etwa 16 Byte pro Parameter: etwa 145 GB für Llama 3.1 8B mit Sequenzen von 2.048 Token. LoRA lässt das Basismodell eingefroren: etwa 22 GB mit BF16-Gewichten und etwa 9 GB mit QLoRA (INT4-Basis).
Wie viel VRAM braucht FLUX.1 [dev]?
Die vollständige Pipeline von FLUX.1 [dev] (Transformer, Text-Encoder T5-XXL und CLIP, VAE) benötigt für ein Bild mit 1024 × 1024 etwa 41 GB in BF16 und 20 GB in FP8. Wird der Text-Encoder nach dem Encoding des Prompts ausgelagert, rückt BF16 in Reichweite einer GPU mit 32 GB.
Ist die Schätzung exakt?
Nein. Der tatsächliche Bedarf hängt von der Modellarchitektur, der Inferenz-Engine, den Quantisierungs-Metadaten und der Speicherfragmentierung ab. Betrachten Sie das Ergebnis als Planungswert und testen Sie auf der Ziel-GPU, bevor Sie sich für eine lange Miete entscheiden.

Live-Markt ansehen