H100 SXM vs. H100 PCIe
Die Herstellerangaben der H100 SXM und der H100 PCIe nebeneinander, pro GPU. Ein Wert, den der Hersteller für das genaue Modell nicht veröffentlicht, wird als solcher gekennzeichnet und nie geschätzt.
NVIDIA H100 SXM 80GB
Hopper
- GPU-Speicher
- 80 GB
- Speicherbandbreite
- 3.350 GB/s
Live-Preis bei EverXCloud · ab 2,88 $ pro GPU-Stunde
Passende Einsatzbereiche
NVIDIA H100 PCIe 80GB
Hopper
- GPU-Speicher
- 80 GB
- Speicherbandbreite
- 2.000 GB/s
Live-Preis bei EverXCloud · ab 2,89 $ pro GPU-Stunde
Passende Einsatzbereiche
Wichtigste Unterschiede
- Beide haben 80 GB GPU-Speicher.
- Die H100 SXM hat 1,7× die Speicherbandbreite der H100 PCIe (3.350 gegenüber 2.000 GB/s), die meist das Tempo der Token-Erzeugung eines LLM bestimmt.
- Die H100 SXM hat 1,3× den dichten BF16-Tensor-Durchsatz der H100 PCIe (989 gegenüber 756 TFLOPS), die Präzision der meisten Trainingsläufe.
- Die H100 SXM hat 1,3× den dichten FP8-Tensor-Durchsatz der H100 PCIe (1.979 gegenüber 1.513 TFLOPS).
Technische Daten
| Merkmal | H100 SXM | H100 PCIe |
|---|---|---|
| GPU-Speicher | 80 GB | 80 GB |
| Speichertyp | HBM3 | HBM2e |
| Speicherbandbreite | 3.350 GB/s (höher) | 2.000 GB/s |
| FP16-Tensor | 989 TFLOPS (höher) | 756 TFLOPS |
| BF16-Tensor | 989 TFLOPS (höher) | 756 TFLOPS |
| FP8-Tensor | 1.979 TFLOPS (höher) | 1.513 TFLOPS |
| Max. Leistungsaufnahme | 700 W | 350 W |
| Architektur | Hopper | Hopper |
| Interconnect | NVLink 4 (900 GB/s) · PCIe 5.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
Der höhere Wert jeder gemessenen Zeile ist fett dargestellt. Herstellerangaben pro GPU. Der Tensor-Durchsatz ist ohne Sparsity angegeben. Werte, die der Hersteller für genau dieses Modell nicht veröffentlicht, werden nicht angezeigt.
Was in den Speicher passt, auf einer GPU
| Einsatzbereich | H100 SXM | H100 PCIe |
|---|---|---|
| LLM-Inferenz, 16 Bit | ≈ 30 Mrd. Parameter | ≈ 30 Mrd. Parameter |
| LLM-Inferenz, 4 Bit | ≈ 100 Mrd. Parameter | ≈ 100 Mrd. Parameter |
| Volltraining, gemischte Präzision | ≈ 4 Mrd. Parameter | ≈ 4 Mrd. Parameter |
Vorsichtige Schätzungen bei 80 % des Speichers für die Modellgewichte; Kontextlänge, Batchgröße und Framework verändern die tatsächliche Grenze. Mehrere GPUs zusammen fassen größere Modelle.
H100 SXM vs. H100 PCIe: häufig gestellte Fragen
Welche hat mehr Speicher, die H100 SXM oder die H100 PCIe?
Beide haben 80 GB GPU-Speicher.
Welche ist schneller bei der LLM-Inferenz, die H100 SXM oder die H100 PCIe?
Die Token-Erzeugung ist meist durch die Speicherbandbreite begrenzt, und die H100 SXM hat 1,7× die Bandbreite der H100 PCIe. Die Speichergröße entscheidet dann, welche Modelle passen. Messen Sie Ihr eigenes Modell vor einem großen Lauf.
Kann ich die H100 SXM und die H100 PCIe stundenweise mieten?
Ja, wenn Verkäufer sie an der EverXCloud-Spot-Börse listen: Sie kaufen GPU-Stunden zum Live-Preis aus einem Prepaid-Guthaben in Euro, US-Dollar oder Pfund. Die Preise werden zzgl. Steuern angezeigt, und EverXCloud ist bei jeder Anmietung Verkäufer im eigenen Namen (Merchant of Record).
Am Starttag bereit sein
Erstellen Sie jetzt Ihr Konto: Sie können Ihr Guthaben aufladen und die passende GPU für Ihren Workload mieten, sobald der Markt öffnet.
Sie haben GPU-Server?
Unternehmen können dem EverXCloud Network beitreten und Stunden ihrer GPU-Server an der Spot-Börse verkaufen.