A30 vs A100 PCIe
Les caractéristiques du constructeur de la A30 et de la A100 PCIe, côte à côte, par GPU. Une valeur que le constructeur ne publie pas pour le modèle exact est signalée comme telle, jamais estimée.
NVIDIA A30 24GB
Ampere
- Mémoire GPU
- 24 Go
- Bande passante mémoire
- 933 Go/s
Prix en direct sur EverXCloud · Aucune offre en ce moment
Usages adaptés
NVIDIA A100 PCIe 80GB
Ampere
- Mémoire GPU
- 80 Go
- Bande passante mémoire
- 1 935 Go/s
Prix en direct sur EverXCloud · dès 1,79 $US par heure de GPU
Principales différences
- La A100 PCIe a 3,3× la mémoire GPU de la A30 (80 Go contre 24 Go).
- La A100 PCIe a 2,1× la bande passante mémoire de la A30 (1 935 contre 933 Go/s), qui fixe généralement le rythme de génération des tokens d’un LLM.
- La A100 PCIe a 1,9× le débit tensoriel BF16 dense de la A30 (312 contre 165 TFLOPS), la précision de la plupart des entraînements.
Caractéristiques
| Caractéristique | A30 | A100 PCIe |
|---|---|---|
| Mémoire GPU | 24 Go | 80 Go (la plus élevée) |
| Type de mémoire | HBM2 | HBM2e |
| Bande passante mémoire | 933 Go/s | 1 935 Go/s (la plus élevée) |
| Tenseurs FP16 | 165 TFLOPS | 312 TFLOPS (la plus élevée) |
| Tenseurs BF16 | 165 TFLOPS | 312 TFLOPS (la plus élevée) |
| Puissance max. | 165 W | 300 W |
| Architecture | Ampere | Ampere |
| Interconnexion | NVLink bridge (200 GB/s) · PCIe 4.0 | NVLink bridge (600 GB/s) · PCIe 4.0 |
La valeur la plus élevée de chaque ligne chiffrée est en gras. Caractéristiques du constructeur, par GPU. Débits tensoriels sans parcimonie. Les valeurs que le constructeur ne publie pas pour ce modèle exact ne sont pas affichées.
Ce qui tient en mémoire, sur un GPU
| Usage | A30 | A100 PCIe |
|---|---|---|
| Inférence de LLM, 16 bits | ≈ 9 Md de paramètres | ≈ 30 Md de paramètres |
| Inférence de LLM, 4 bits | ≈ 30 Md de paramètres | ≈ 100 Md de paramètres |
| Entraînement complet, précision mixte | ≈ 1 Md de paramètres | ≈ 4 Md de paramètres |
Estimations prudentes en comptant 80 % de la mémoire pour les poids du modèle ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Plusieurs GPU ensemble accueillent de plus grands modèles.
A30 vs A100 PCIe : questions fréquentes
Qui a le plus de mémoire, la A30 ou la A100 PCIe ?
La A100 PCIe a 80 Go de mémoire GPU, contre 24 Go pour la A30.
Laquelle est la plus rapide pour l’inférence de LLM, la A30 ou la A100 PCIe ?
La génération de tokens est généralement limitée par la bande passante mémoire, et la A100 PCIe a 2,1× la bande passante de la A30. La taille de la mémoire décide ensuite des modèles qui tiennent. Mesurez votre propre modèle avant un calcul d’envergure.
Puis-je louer la A30 et la A100 PCIe à l’heure ?
Oui, quand des vendeurs les listent sur la bourse au comptant EverXCloud : vous achetez des heures de GPU au prix en direct depuis un solde prépayé en euros, en dollars américains ou en livres. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.