A100 SXM vs Tesla V100
Les caractéristiques du constructeur de la A100 SXM et de la Tesla V100, côte à côte, par GPU. Une valeur que le constructeur ne publie pas pour le modèle exact est signalée comme telle, jamais estimée.
NVIDIA A100 SXM 40GB
Ampere
- Mémoire GPU
- 40 Go
- Bande passante mémoire
- 1 555 Go/s
Prix en direct sur EverXCloud · dès 0,34 $US par heure de GPU
NVIDIA Tesla V100 32GB
Volta
- Mémoire GPU
- 32 Go
- Bande passante mémoire
- 900 Go/s
Prix en direct sur EverXCloud · dès 0,10 $US par heure de GPU
Usages adaptés
Principales différences
- La A100 SXM a 1,3× la mémoire GPU de la Tesla V100 (40 Go contre 32 Go).
- La A100 SXM a 1,7× la bande passante mémoire de la Tesla V100 (1 555 contre 900 Go/s), qui fixe généralement le rythme de génération des tokens d’un LLM.
Caractéristiques
| Caractéristique | A100 SXM | Tesla V100 |
|---|---|---|
| Mémoire GPU | 40 Go (la plus élevée) | 32 Go |
| Type de mémoire | HBM2 | HBM2 |
| Bande passante mémoire | 1 555 Go/s (la plus élevée) | 900 Go/s |
| Tenseurs FP16 | 312 TFLOPS | Non publié |
| Tenseurs BF16 | 312 TFLOPS | Non publié |
| Puissance max. | 400 W | Non publié |
| Architecture | Ampere | Volta |
| Interconnexion | NVLink 3 (600 GB/s) · PCIe 4.0 | Non publié |
La valeur la plus élevée de chaque ligne chiffrée est en gras. Caractéristiques du constructeur, par GPU. Débits tensoriels sans parcimonie. Les valeurs que le constructeur ne publie pas pour ce modèle exact ne sont pas affichées.
Ce qui tient en mémoire, sur un GPU
| Usage | A100 SXM | Tesla V100 |
|---|---|---|
| Inférence de LLM, 16 bits | ≈ 15 Md de paramètres | ≈ 10 Md de paramètres |
| Inférence de LLM, 4 bits | ≈ 50 Md de paramètres | ≈ 40 Md de paramètres |
| Entraînement complet, précision mixte | ≈ 2 Md de paramètres | ≈ 1 Md de paramètres |
Estimations prudentes en comptant 80 % de la mémoire pour les poids du modèle ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Plusieurs GPU ensemble accueillent de plus grands modèles.
A100 SXM vs Tesla V100 : questions fréquentes
Qui a le plus de mémoire, la A100 SXM ou la Tesla V100 ?
La A100 SXM a 40 Go de mémoire GPU, contre 32 Go pour la Tesla V100.
Laquelle est la plus rapide pour l’inférence de LLM, la A100 SXM ou la Tesla V100 ?
La génération de tokens est généralement limitée par la bande passante mémoire, et la A100 SXM a 1,7× la bande passante de la Tesla V100. La taille de la mémoire décide ensuite des modèles qui tiennent. Mesurez votre propre modèle avant un calcul d’envergure.
Puis-je louer la A100 SXM et la Tesla V100 à l’heure ?
Oui, quand des vendeurs les listent sur la bourse au comptant EverXCloud : vous achetez des heures de GPU au prix en direct depuis un solde prépayé en euros, en dollars américains ou en livres. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.