L4 vs A10
Les caractéristiques du constructeur de la L4 et de la A10, côte à côte, par GPU. Une valeur que le constructeur ne publie pas pour le modèle exact est signalée comme telle, jamais estimée.
NVIDIA L4 24GB
Ada Lovelace
- Mémoire GPU
- 24 Go
- Bande passante mémoire
- 300 Go/s
Prix en direct sur EverXCloud · dès 0,44 $US par heure de GPU
Usages adaptés
NVIDIA A10 24GB
Ampere
- Mémoire GPU
- 24 Go
- Bande passante mémoire
- 600 Go/s
Prix en direct sur EverXCloud · dès 0,24 $US par heure de GPU
Usages adaptés
Principales différences
- Les deux ont 24 Go de mémoire GPU.
- La A10 a 2,0× la bande passante mémoire de la L4 (600 contre 300 Go/s), qui fixe généralement le rythme de génération des tokens d’un LLM.
- La A10 a 1,0× le débit tensoriel BF16 dense de la L4 (125 contre 121 TFLOPS), la précision de la plupart des entraînements.
Caractéristiques
| Caractéristique | L4 | A10 |
|---|---|---|
| Mémoire GPU | 24 Go | 24 Go |
| Type de mémoire | GDDR6 | GDDR6 |
| Bande passante mémoire | 300 Go/s | 600 Go/s (la plus élevée) |
| Tenseurs FP16 | 121 TFLOPS | 125 TFLOPS (la plus élevée) |
| Tenseurs BF16 | 121 TFLOPS | 125 TFLOPS (la plus élevée) |
| Tenseurs FP8 | 242 TFLOPS | Non publié |
| Puissance max. | 72 W | 150 W |
| Architecture | Ada Lovelace | Ampere |
| Interconnexion | PCIe 4.0 | PCIe 4.0 |
La valeur la plus élevée de chaque ligne chiffrée est en gras. Caractéristiques du constructeur, par GPU. Débits tensoriels sans parcimonie. Les valeurs que le constructeur ne publie pas pour ce modèle exact ne sont pas affichées.
Ce qui tient en mémoire, sur un GPU
| Usage | L4 | A10 |
|---|---|---|
| Inférence de LLM, 16 bits | ≈ 9 Md de paramètres | ≈ 9 Md de paramètres |
| Inférence de LLM, 4 bits | ≈ 30 Md de paramètres | ≈ 30 Md de paramètres |
| Entraînement complet, précision mixte | ≈ 1 Md de paramètres | ≈ 1 Md de paramètres |
Estimations prudentes en comptant 80 % de la mémoire pour les poids du modèle ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Plusieurs GPU ensemble accueillent de plus grands modèles.
L4 vs A10 : questions fréquentes
Qui a le plus de mémoire, la L4 ou la A10 ?
Les deux ont 24 Go de mémoire GPU.
Laquelle est la plus rapide pour l’inférence de LLM, la L4 ou la A10 ?
La génération de tokens est généralement limitée par la bande passante mémoire, et la A10 a 2,0× la bande passante de la L4. La taille de la mémoire décide ensuite des modèles qui tiennent. Mesurez votre propre modèle avant un calcul d’envergure.
Puis-je louer la L4 et la A10 à l’heure ?
Oui, quand des vendeurs les listent sur la bourse au comptant EverXCloud : vous achetez des heures de GPU au prix en direct depuis un solde prépayé en euros, en dollars américains ou en livres. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.