RTX 4090 vs A100 PCIe
Specificaties van de fabrikant van de RTX 4090 en de A100 PCIe, naast elkaar, per GPU. Een waarde die de fabrikant voor het exacte model niet publiceert, wordt zo aangegeven en nooit geschat.
NVIDIA GeForce RTX 4090 24GB
Ada Lovelace
- GPU-geheugen
- 24 GB
- Geheugenbandbreedte
- 1.008 GB/s
Live prijs op EverXCloud · vanaf US$ 0,33 per GPU-uur
Geschikte toepassingen
NVIDIA A100 PCIe 80GB
Ampere
- GPU-geheugen
- 80 GB
- Geheugenbandbreedte
- 1.935 GB/s
Live prijs op EverXCloud · vanaf US$ 1,79 per GPU-uur
Geschikte toepassingen
Belangrijkste verschillen
- De A100 PCIe heeft 3,3× het GPU-geheugen van de RTX 4090 (80 GB vs 24 GB).
- De A100 PCIe heeft 1,9× de geheugenbandbreedte van de RTX 4090 (1.935 vs 1.008 GB/s), wat meestal het tempo van tokengeneratie bij LLM’s bepaalt.
- De RTX 4090 heeft raytracingcores voor 3D-rendering; de A100 PCIe niet.
Specificaties
| Specificatie | RTX 4090 | A100 PCIe |
|---|---|---|
| GPU-geheugen | 24 GB | 80 GB (hoger) |
| Geheugentype | GDDR6X | HBM2e |
| Geheugenbandbreedte | 1.008 GB/s | 1.935 GB/s (hoger) |
| FP16-tensor | Niet gepubliceerd | 312 TFLOPS |
| BF16-tensor | Niet gepubliceerd | 312 TFLOPS |
| Max. vermogen | 450 W | 300 W |
| Architectuur | Ada Lovelace | Ampere |
| Interconnect | PCIe 4.0 | NVLink bridge (600 GB/s) · PCIe 4.0 |
De hoogste waarde van elke gemeten rij staat vetgedrukt. Specificaties van de fabrikant, per GPU. Tensordoorvoer wordt zonder sparsity getoond. Waarden die de fabrikant voor dit exacte model niet publiceert, zijn weggelaten.
Wat in het geheugen past, op één GPU
| Toepassing | RTX 4090 | A100 PCIe |
|---|---|---|
| LLM-inferentie, 16-bit | ≈ 9B parameters | ≈ 30B parameters |
| LLM-inferentie, 4-bit | ≈ 30B parameters | ≈ 100B parameters |
| Volledige training, mixed precision | ≈ 1B parameters | ≈ 4B parameters |
Voorzichtige schattingen waarbij 80% van het geheugen voor de modelgewichten wordt gerekend; contextlengte, batchgrootte en framework veranderen de echte limiet. Meerdere GPU’s samen kunnen grotere modellen bevatten.
RTX 4090 vs A100 PCIe: veelgestelde vragen
Welke heeft meer geheugen, de RTX 4090 of de A100 PCIe?
De A100 PCIe heeft 80 GB GPU-geheugen, tegenover 24 GB voor de RTX 4090.
Welke is sneller voor LLM-inferentie, de RTX 4090 of de A100 PCIe?
Tokengeneratie wordt meestal begrensd door de geheugenbandbreedte, en de A100 PCIe heeft 1,9× de bandbreedte van de RTX 4090. De geheugengrootte bepaalt vervolgens welke modellen passen. Meet je eigen model vóór een grote run.
Kan ik de RTX 4090 en de A100 PCIe per uur huren?
Ja, wanneer verkopers ze op de EverXCloud-spotbeurs aanbieden: je koopt GPU-uren tegen de live prijs vanuit een prepaid saldo in euro, Amerikaanse dollars of ponden. Prijzen worden exclusief belasting getoond en EverXCloud is de merchant of record voor elke huur.
Wees klaar op de dag van de lancering
Maak nu je account aan: je kunt je saldo opwaarderen en de GPU huren die bij je toepassing past zodra de markt opengaat.
Heb je GPU-servers?
Bedrijven kunnen zich aansluiten bij het EverXCloud Network en uren van hun GPU-servers op de spotbeurs verkopen.