L40S vs A100 SXM
Spesifikasi pabrikan L40S dan A100 SXM, berdampingan, per GPU. Nilai yang tidak dipublikasikan pabrikan untuk model tersebut ditandai demikian, tidak pernah diperkirakan.
NVIDIA L40S 48GB
Ada Lovelace
- Memori GPU
- 48 GB
- Bandwidth memori
- 864 GB/s
Harga langsung di EverXCloud · mulai US$0,79 per GPU-jam
Beban kerja yang cocok
NVIDIA A100 SXM 80GB
Ampere
- Memori GPU
- 80 GB
- Bandwidth memori
- 2.039 GB/s
Harga langsung di EverXCloud · mulai US$1,79 per GPU-jam
Beban kerja yang cocok
Perbedaan utama
- A100 SXM memiliki 1,7× memori GPU L40S (80 GB vs 48 GB).
- A100 SXM memiliki 2,4× bandwidth memori L40S (2.039 vs 864 GB/s), yang biasanya menentukan kecepatan pembuatan token LLM.
- L40S memiliki 1,2× throughput tensor BF16 dense A100 SXM (362 vs 312 TFLOPS), presisi yang digunakan sebagian besar pelatihan.
- L40S memiliki core ray tracing untuk rendering 3D; A100 SXM tidak.
Spesifikasi
| Spesifikasi | L40S | A100 SXM |
|---|---|---|
| Memori GPU | 48 GB | 80 GB (lebih tinggi) |
| Jenis memori | GDDR6 | HBM2e |
| Bandwidth memori | 864 GB/s | 2.039 GB/s (lebih tinggi) |
| Tensor FP16 | 362 TFLOPS (lebih tinggi) | 312 TFLOPS |
| Tensor BF16 | 362 TFLOPS (lebih tinggi) | 312 TFLOPS |
| Tensor FP8 | 733 TFLOPS | Tidak dipublikasikan |
| Daya maks. | 350 W | 400 W |
| Arsitektur | Ada Lovelace | Ampere |
| Interkoneksi | PCIe 4.0 | NVLink 3 (600 GB/s) · PCIe 4.0 |
Nilai yang lebih tinggi pada setiap baris yang diukur ditampilkan tebal. Spesifikasi pabrikan, per GPU. Throughput tensor ditampilkan tanpa sparsity. Nilai yang tidak dipublikasikan pabrikan untuk model ini tidak ditampilkan.
Yang muat di memori, pada satu GPU
| Beban kerja | L40S | A100 SXM |
|---|---|---|
| Inferensi LLM, 16-bit | ≈ 15B parameter | ≈ 30B parameter |
| Inferensi LLM, 4-bit | ≈ 60B parameter | ≈ 100B parameter |
| Pelatihan penuh, presisi campuran | ≈ 2B parameter | ≈ 4B parameter |
Perkiraan hati-hati yang menghitung 80% memori untuk bobot model; panjang konteks, ukuran batch, dan framework mengubah batas sebenarnya. Beberapa GPU bersama dapat menampung model yang lebih besar.
L40S vs A100 SXM: pertanyaan yang sering diajukan
Mana yang memorinya lebih besar, L40S atau A100 SXM?
A100 SXM memiliki memori GPU 80 GB, sedangkan L40S 48 GB.
Mana yang lebih cepat untuk inferensi LLM, L40S atau A100 SXM?
Pembuatan token biasanya dibatasi oleh bandwidth memori, dan A100 SXM memiliki 2,4× bandwidth L40S. Ukuran memori kemudian menentukan model mana yang muat. Ukur model Anda sendiri sebelum menjalankan beban besar.
Bisakah saya menyewa L40S dan A100 SXM per jam?
Ya, saat penjual mencantumkannya di bursa spot EverXCloud: Anda membeli jam GPU dengan harga langsung dari saldo prabayar dalam euro, dolar AS, atau pound. Harga ditampilkan belum termasuk pajak dan EverXCloud adalah merchant of record untuk setiap penyewaan.
Siap di hari peluncuran
Buat akun Anda sekarang: Anda dapat mengisi saldo dan menyewa GPU yang sesuai dengan beban kerja Anda begitu pasar dibuka.
Punya server GPU?
Bisnis dapat bergabung dengan EverXCloud Network dan menjual jam server GPU mereka di bursa spot.