L40S vs. A100 SXM
Die Herstellerangaben der L40S und der A100 SXM nebeneinander, pro GPU. Ein Wert, den der Hersteller für das genaue Modell nicht veröffentlicht, wird als solcher gekennzeichnet und nie geschätzt.
NVIDIA L40S 48GB
Ada Lovelace
- GPU-Speicher
- 48 GB
- Speicherbandbreite
- 864 GB/s
Live-Preis bei EverXCloud · ab 0,79 $ pro GPU-Stunde
Passende Einsatzbereiche
NVIDIA A100 SXM 80GB
Ampere
- GPU-Speicher
- 80 GB
- Speicherbandbreite
- 2.039 GB/s
Live-Preis bei EverXCloud · ab 1,79 $ pro GPU-Stunde
Passende Einsatzbereiche
Wichtigste Unterschiede
- Die A100 SXM hat 1,7× so viel GPU-Speicher wie die L40S (80 GB gegenüber 48 GB).
- Die A100 SXM hat 2,4× die Speicherbandbreite der L40S (2.039 gegenüber 864 GB/s), die meist das Tempo der Token-Erzeugung eines LLM bestimmt.
- Die L40S hat 1,2× den dichten BF16-Tensor-Durchsatz der A100 SXM (362 gegenüber 312 TFLOPS), die Präzision der meisten Trainingsläufe.
- Die L40S hat Raytracing-Kerne für 3D-Rendering, die A100 SXM nicht.
Technische Daten
| Merkmal | L40S | A100 SXM |
|---|---|---|
| GPU-Speicher | 48 GB | 80 GB (höher) |
| Speichertyp | GDDR6 | HBM2e |
| Speicherbandbreite | 864 GB/s | 2.039 GB/s (höher) |
| FP16-Tensor | 362 TFLOPS (höher) | 312 TFLOPS |
| BF16-Tensor | 362 TFLOPS (höher) | 312 TFLOPS |
| FP8-Tensor | 733 TFLOPS | Nicht veröffentlicht |
| Max. Leistungsaufnahme | 350 W | 400 W |
| Architektur | Ada Lovelace | Ampere |
| Interconnect | PCIe 4.0 | NVLink 3 (600 GB/s) · PCIe 4.0 |
Der höhere Wert jeder gemessenen Zeile ist fett dargestellt. Herstellerangaben pro GPU. Der Tensor-Durchsatz ist ohne Sparsity angegeben. Werte, die der Hersteller für genau dieses Modell nicht veröffentlicht, werden nicht angezeigt.
Was in den Speicher passt, auf einer GPU
| Einsatzbereich | L40S | A100 SXM |
|---|---|---|
| LLM-Inferenz, 16 Bit | ≈ 15 Mrd. Parameter | ≈ 30 Mrd. Parameter |
| LLM-Inferenz, 4 Bit | ≈ 60 Mrd. Parameter | ≈ 100 Mrd. Parameter |
| Volltraining, gemischte Präzision | ≈ 2 Mrd. Parameter | ≈ 4 Mrd. Parameter |
Vorsichtige Schätzungen bei 80 % des Speichers für die Modellgewichte; Kontextlänge, Batchgröße und Framework verändern die tatsächliche Grenze. Mehrere GPUs zusammen fassen größere Modelle.
L40S vs. A100 SXM: häufig gestellte Fragen
Welche hat mehr Speicher, die L40S oder die A100 SXM?
Die A100 SXM hat 80 GB GPU-Speicher, gegenüber 48 GB bei der L40S.
Welche ist schneller bei der LLM-Inferenz, die L40S oder die A100 SXM?
Die Token-Erzeugung ist meist durch die Speicherbandbreite begrenzt, und die A100 SXM hat 2,4× die Bandbreite der L40S. Die Speichergröße entscheidet dann, welche Modelle passen. Messen Sie Ihr eigenes Modell vor einem großen Lauf.
Kann ich die L40S und die A100 SXM stundenweise mieten?
Ja, wenn Verkäufer sie an der EverXCloud-Spot-Börse listen: Sie kaufen GPU-Stunden zum Live-Preis aus einem Prepaid-Guthaben in Euro, US-Dollar oder Pfund. Die Preise werden zzgl. Steuern angezeigt, und EverXCloud ist bei jeder Anmietung Verkäufer im eigenen Namen (Merchant of Record).
Am Starttag bereit sein
Erstellen Sie jetzt Ihr Konto: Sie können Ihr Guthaben aufladen und die passende GPU für Ihren Workload mieten, sobald der Markt öffnet.
Sie haben GPU-Server?
Unternehmen können dem EverXCloud Network beitreten und Stunden ihrer GPU-Server an der Spot-Börse verkaufen.