H100 SXM vs H100 PCIe
H100 SXM ve H100 PCIe için üretici özellikleri, GPU başına yan yana. Üreticinin ilgili model için yayımlamadığı bir değer bu şekilde belirtilir, asla tahmin edilmez.
NVIDIA H100 SXM 80GB
Hopper
- GPU belleği
- 80 GB
- Bellek bant genişliği
- 3.350 GB/s
EverXCloud’da canlı fiyat · GPU-saat başına $2,88’den başlayan
Uygun iş yükleri
NVIDIA H100 PCIe 80GB
Hopper
- GPU belleği
- 80 GB
- Bellek bant genişliği
- 2.000 GB/s
EverXCloud’da canlı fiyat · GPU-saat başına $2,89’den başlayan
Uygun iş yükleri
Temel farklar
- İkisinin de 80 GB GPU belleği var.
- H100 SXM, H100 PCIe’ın 1,7× bellek bant genişliğine sahip (3.350 vs 2.000 GB/s); bu genellikle LLM token üretim hızını belirler.
- H100 SXM, H100 PCIe’ın 1,3× yoğun BF16 tensör performansına sahip (989 vs 756 TFLOPS); çoğu eğitimin kullandığı hassasiyet budur.
- H100 SXM, H100 PCIe’ın 1,3× yoğun FP8 tensör performansına sahip (1.979 vs 1.513 TFLOPS).
Özellikler
| Özellik | H100 SXM | H100 PCIe |
|---|---|---|
| GPU belleği | 80 GB | 80 GB |
| Bellek türü | HBM3 | HBM2e |
| Bellek bant genişliği | 3.350 GB/s (daha yüksek) | 2.000 GB/s |
| FP16 tensör | 989 TFLOPS (daha yüksek) | 756 TFLOPS |
| BF16 tensör | 989 TFLOPS (daha yüksek) | 756 TFLOPS |
| FP8 tensör | 1.979 TFLOPS (daha yüksek) | 1.513 TFLOPS |
| Maks. güç | 700 W | 350 W |
| Mimari | Hopper | Hopper |
| Bağlantı (interconnect) | NVLink 4 (900 GB/s) · PCIe 5.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
Ölçülen her satırdaki yüksek değer kalın gösterilir. Üretici özellikleri, GPU başına. Tensör performansı seyreklik olmadan gösterilir. Üreticinin bu model için yayımlamadığı değerler gösterilmez.
Tek GPU’nun belleğine neler sığar
| İş yükü | H100 SXM | H100 PCIe |
|---|---|---|
| LLM çıkarımı, 16 bit | ≈ 30B parametre | ≈ 30B parametre |
| LLM çıkarımı, 4 bit | ≈ 100B parametre | ≈ 100B parametre |
| Tam eğitim, karma hassasiyet | ≈ 4B parametre | ≈ 4B parametre |
Belleğin %80’inin model ağırlıklarına ayrıldığı temkinli tahminlerdir; bağlam uzunluğu, batch boyutu ve framework gerçek sınırı değiştirir. Birden fazla GPU birlikte daha büyük modelleri barındırır.
H100 SXM vs H100 PCIe: sıkça sorulan sorular
Hangisinin belleği daha fazla: H100 SXM mı, H100 PCIe mi?
İkisinin de 80 GB GPU belleği var.
LLM çıkarımında hangisi daha hızlı: H100 SXM mı, H100 PCIe mi?
Token üretimi genellikle bellek bant genişliğiyle sınırlıdır ve H100 SXM, H100 PCIe’ın 1,7× bant genişliğine sahiptir. Hangi modellerin sığacağını ise bellek boyutu belirler. Büyük bir çalıştırmadan önce kendi modelinizi ölçün.
H100 SXM ve H100 PCIe’yi saatlik kiralayabilir miyim?
Evet, satıcılar onları EverXCloud spot borsasında listelediğinde: euro, ABD doları veya sterlin cinsinden ön ödemeli bakiyeden canlı fiyatla GPU saati satın alırsınız. Fiyatlar vergiler hariç gösterilir ve her kiralamanın satıcısı EverXCloud’dur.
Lansman gününe hazır olun
Hesabınızı şimdi oluşturun: piyasa açılır açılmaz bakiyenizi yükleyip iş yükünüze uygun GPU’yu kiralayabilirsiniz.
GPU sunucularınız mı var?
İşletmeler EverXCloud Network’e katılabilir ve GPU sunucularının saatlerini spot borsasında satabilir.