Quadro RTX 6000 vs Quadro RTX 8000
Les caractéristiques du constructeur de la Quadro RTX 6000 et de la Quadro RTX 8000, côte à côte, par GPU. Une valeur que le constructeur ne publie pas pour le modèle exact est signalée comme telle, jamais estimée.
NVIDIA Quadro RTX 6000 24GB
Turing
- Mémoire GPU
- 24 Go
- Bande passante mémoire
- 672 Go/s
Prix en direct sur EverXCloud · Aucune offre en ce moment
Usages adaptés
NVIDIA Quadro RTX 8000 48GB
Turing
- Mémoire GPU
- 48 Go
- Bande passante mémoire
- 672 Go/s
Prix en direct sur EverXCloud · dès 0,30 $US par heure de GPU
Usages adaptés
Principales différences
- La Quadro RTX 8000 a 2,0× la mémoire GPU de la Quadro RTX 6000 (48 Go contre 24 Go).
- Les deux ont à peu près la même bande passante mémoire (672 contre 672 Go/s).
Caractéristiques
| Caractéristique | Quadro RTX 6000 | Quadro RTX 8000 |
|---|---|---|
| Mémoire GPU | 24 Go | 48 Go (la plus élevée) |
| Type de mémoire | GDDR6 | GDDR6 |
| Bande passante mémoire | 672 Go/s | 672 Go/s |
| Puissance max. | 295 W | 295 W |
| Architecture | Turing | Turing |
| Interconnexion | NVLink bridge (100 GB/s) · PCIe 3.0 | NVLink bridge (100 GB/s) · PCIe 3.0 |
La valeur la plus élevée de chaque ligne chiffrée est en gras. Caractéristiques du constructeur, par GPU. Débits tensoriels sans parcimonie. Les valeurs que le constructeur ne publie pas pour ce modèle exact ne sont pas affichées.
Ce qui tient en mémoire, sur un GPU
| Usage | Quadro RTX 6000 | Quadro RTX 8000 |
|---|---|---|
| Inférence de LLM, 16 bits | ≈ 9 Md de paramètres | ≈ 15 Md de paramètres |
| Inférence de LLM, 4 bits | ≈ 30 Md de paramètres | ≈ 60 Md de paramètres |
| Entraînement complet, précision mixte | ≈ 1 Md de paramètres | ≈ 2 Md de paramètres |
Estimations prudentes en comptant 80 % de la mémoire pour les poids du modèle ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Plusieurs GPU ensemble accueillent de plus grands modèles.
Quadro RTX 6000 vs Quadro RTX 8000 : questions fréquentes
Qui a le plus de mémoire, la Quadro RTX 6000 ou la Quadro RTX 8000 ?
La Quadro RTX 8000 a 48 Go de mémoire GPU, contre 24 Go pour la Quadro RTX 6000.
Laquelle est la plus rapide pour l’inférence de LLM, la Quadro RTX 6000 ou la Quadro RTX 8000 ?
Leur bande passante mémoire est à peu près la même : la vitesse de génération des tokens est donc proche pour un modèle qui tient sur les deux ; la taille de la mémoire décide des modèles qui tiennent. Mesurez votre propre modèle avant un calcul d’envergure.
Puis-je louer la Quadro RTX 6000 et la Quadro RTX 8000 à l’heure ?
Oui, quand des vendeurs les listent sur la bourse au comptant EverXCloud : vous achetez des heures de GPU au prix en direct depuis un solde prépayé en euros, en dollars américains ou en livres. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.