H100 SXM vs H100 PCIe
Spesifikasi pabrikan H100 SXM dan H100 PCIe, berdampingan, per GPU. Nilai yang tidak dipublikasikan pabrikan untuk model tersebut ditandai demikian, tidak pernah diperkirakan.
NVIDIA H100 SXM 80GB
Hopper
- Memori GPU
- 80 GB
- Bandwidth memori
- 3.350 GB/s
Harga langsung di EverXCloud · mulai US$2,88 per GPU-jam
Beban kerja yang cocok
NVIDIA H100 PCIe 80GB
Hopper
- Memori GPU
- 80 GB
- Bandwidth memori
- 2.000 GB/s
Harga langsung di EverXCloud · mulai US$2,89 per GPU-jam
Beban kerja yang cocok
Perbedaan utama
- Keduanya memiliki memori GPU 80 GB.
- H100 SXM memiliki 1,7× bandwidth memori H100 PCIe (3.350 vs 2.000 GB/s), yang biasanya menentukan kecepatan pembuatan token LLM.
- H100 SXM memiliki 1,3× throughput tensor BF16 dense H100 PCIe (989 vs 756 TFLOPS), presisi yang digunakan sebagian besar pelatihan.
- H100 SXM memiliki 1,3× throughput tensor FP8 dense H100 PCIe (1.979 vs 1.513 TFLOPS).
Spesifikasi
| Spesifikasi | H100 SXM | H100 PCIe |
|---|---|---|
| Memori GPU | 80 GB | 80 GB |
| Jenis memori | HBM3 | HBM2e |
| Bandwidth memori | 3.350 GB/s (lebih tinggi) | 2.000 GB/s |
| Tensor FP16 | 989 TFLOPS (lebih tinggi) | 756 TFLOPS |
| Tensor BF16 | 989 TFLOPS (lebih tinggi) | 756 TFLOPS |
| Tensor FP8 | 1.979 TFLOPS (lebih tinggi) | 1.513 TFLOPS |
| Daya maks. | 700 W | 350 W |
| Arsitektur | Hopper | Hopper |
| Interkoneksi | NVLink 4 (900 GB/s) · PCIe 5.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
Nilai yang lebih tinggi pada setiap baris yang diukur ditampilkan tebal. Spesifikasi pabrikan, per GPU. Throughput tensor ditampilkan tanpa sparsity. Nilai yang tidak dipublikasikan pabrikan untuk model ini tidak ditampilkan.
Yang muat di memori, pada satu GPU
| Beban kerja | H100 SXM | H100 PCIe |
|---|---|---|
| Inferensi LLM, 16-bit | ≈ 30B parameter | ≈ 30B parameter |
| Inferensi LLM, 4-bit | ≈ 100B parameter | ≈ 100B parameter |
| Pelatihan penuh, presisi campuran | ≈ 4B parameter | ≈ 4B parameter |
Perkiraan hati-hati yang menghitung 80% memori untuk bobot model; panjang konteks, ukuran batch, dan framework mengubah batas sebenarnya. Beberapa GPU bersama dapat menampung model yang lebih besar.
H100 SXM vs H100 PCIe: pertanyaan yang sering diajukan
Mana yang memorinya lebih besar, H100 SXM atau H100 PCIe?
Keduanya memiliki memori GPU 80 GB.
Mana yang lebih cepat untuk inferensi LLM, H100 SXM atau H100 PCIe?
Pembuatan token biasanya dibatasi oleh bandwidth memori, dan H100 SXM memiliki 1,7× bandwidth H100 PCIe. Ukuran memori kemudian menentukan model mana yang muat. Ukur model Anda sendiri sebelum menjalankan beban besar.
Bisakah saya menyewa H100 SXM dan H100 PCIe per jam?
Ya, saat penjual mencantumkannya di bursa spot EverXCloud: Anda membeli jam GPU dengan harga langsung dari saldo prabayar dalam euro, dolar AS, atau pound. Harga ditampilkan belum termasuk pajak dan EverXCloud adalah merchant of record untuk setiap penyewaan.
Siap di hari peluncuran
Buat akun Anda sekarang: Anda dapat mengisi saldo dan menyewa GPU yang sesuai dengan beban kerja Anda begitu pasar dibuka.
Punya server GPU?
Bisnis dapat bergabung dengan EverXCloud Network dan menjual jam server GPU mereka di bursa spot.