L40S vs H100 PCIe
Spesifikasi pabrikan L40S dan H100 PCIe, berdampingan, per GPU. Nilai yang tidak dipublikasikan pabrikan untuk model tersebut ditandai demikian, tidak pernah diperkirakan.
NVIDIA L40S 48GB
Ada Lovelace
- Memori GPU
- 48 GB
- Bandwidth memori
- 864 GB/s
Harga langsung di EverXCloud · mulai US$0,79 per GPU-jam
Beban kerja yang cocok
NVIDIA H100 PCIe 80GB
Hopper
- Memori GPU
- 80 GB
- Bandwidth memori
- 2.000 GB/s
Harga langsung di EverXCloud · mulai US$2,89 per GPU-jam
Beban kerja yang cocok
Perbedaan utama
- H100 PCIe memiliki 1,7× memori GPU L40S (80 GB vs 48 GB).
- H100 PCIe memiliki 2,3× bandwidth memori L40S (2.000 vs 864 GB/s), yang biasanya menentukan kecepatan pembuatan token LLM.
- H100 PCIe memiliki 2,1× throughput tensor BF16 dense L40S (756 vs 362 TFLOPS), presisi yang digunakan sebagian besar pelatihan.
- H100 PCIe memiliki 2,1× throughput tensor FP8 dense L40S (1.513 vs 733 TFLOPS).
- L40S memiliki core ray tracing untuk rendering 3D; H100 PCIe tidak.
Spesifikasi
| Spesifikasi | L40S | H100 PCIe |
|---|---|---|
| Memori GPU | 48 GB | 80 GB (lebih tinggi) |
| Jenis memori | GDDR6 | HBM2e |
| Bandwidth memori | 864 GB/s | 2.000 GB/s (lebih tinggi) |
| Tensor FP16 | 362 TFLOPS | 756 TFLOPS (lebih tinggi) |
| Tensor BF16 | 362 TFLOPS | 756 TFLOPS (lebih tinggi) |
| Tensor FP8 | 733 TFLOPS | 1.513 TFLOPS (lebih tinggi) |
| Daya maks. | 350 W | 350 W |
| Arsitektur | Ada Lovelace | Hopper |
| Interkoneksi | PCIe 4.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
Nilai yang lebih tinggi pada setiap baris yang diukur ditampilkan tebal. Spesifikasi pabrikan, per GPU. Throughput tensor ditampilkan tanpa sparsity. Nilai yang tidak dipublikasikan pabrikan untuk model ini tidak ditampilkan.
Yang muat di memori, pada satu GPU
| Beban kerja | L40S | H100 PCIe |
|---|---|---|
| Inferensi LLM, 16-bit | ≈ 15B parameter | ≈ 30B parameter |
| Inferensi LLM, 4-bit | ≈ 60B parameter | ≈ 100B parameter |
| Pelatihan penuh, presisi campuran | ≈ 2B parameter | ≈ 4B parameter |
Perkiraan hati-hati yang menghitung 80% memori untuk bobot model; panjang konteks, ukuran batch, dan framework mengubah batas sebenarnya. Beberapa GPU bersama dapat menampung model yang lebih besar.
L40S vs H100 PCIe: pertanyaan yang sering diajukan
Mana yang memorinya lebih besar, L40S atau H100 PCIe?
H100 PCIe memiliki memori GPU 80 GB, sedangkan L40S 48 GB.
Mana yang lebih cepat untuk inferensi LLM, L40S atau H100 PCIe?
Pembuatan token biasanya dibatasi oleh bandwidth memori, dan H100 PCIe memiliki 2,3× bandwidth L40S. Ukuran memori kemudian menentukan model mana yang muat. Ukur model Anda sendiri sebelum menjalankan beban besar.
Bisakah saya menyewa L40S dan H100 PCIe per jam?
Ya, saat penjual mencantumkannya di bursa spot EverXCloud: Anda membeli jam GPU dengan harga langsung dari saldo prabayar dalam euro, dolar AS, atau pound. Harga ditampilkan belum termasuk pajak dan EverXCloud adalah merchant of record untuk setiap penyewaan.
Siap di hari peluncuran
Buat akun Anda sekarang: Anda dapat mengisi saldo dan menyewa GPU yang sesuai dengan beban kerja Anda begitu pasar dibuka.
Punya server GPU?
Bisnis dapat bergabung dengan EverXCloud Network dan menjual jam server GPU mereka di bursa spot.