GPU pour entraîner de grands modèles de langage
Entraîner un modèle à partir de zéro, ou en régler finement tous les poids, demande bien plus de mémoire que de l’exécuter : poids, gradients et états de l’optimiseur résident tous sur le GPU. Les GPU de centre de données à mémoire HBM, avec des cœurs tensoriels rapides et une interconnexion entre GPU, sont le choix pratique.
GPU adaptés : entraînement de LLM
Faites défiler horizontalement pour voir toutes les colonnes.
| GPU | Mémoire | Type de mémoire | Bande passante | Tenseurs BF16 | Entraînement complet, 1 GPU | Entraînement complet, 8 GPU | Prix/h |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 Go | HBM3e | Non publié | Non publié | ≈ 10 Md | ≈ 110 Md | dès 8,99 $US |
| B200Blackwell | 180 Go | HBM3e | Non publié | Non publié | ≈ 9 Md | ≈ 70 Md | dès 7,99 $US |
| MI325XCDNA 3 | 256 Go | HBM3e | 6 000 Go/s | 1 307 TFLOPS | ≈ 10 Md | ≈ 100 Md | dès 4,82 $US |
| MI300XCDNA 3 | 192 Go | HBM3 | 5 300 Go/s | 1 307 TFLOPS | ≈ 9 Md | ≈ 75 Md | dès 4,16 $US |
| H200Hopper | 141 Go | HBM3e | 4 800 Go/s | 989 TFLOPS | ≈ 7 Md | ≈ 55 Md | dès 4,19 $US |
| H100 NVLHopper | 94 Go | HBM3 | 3 900 Go/s | 835 TFLOPS | ≈ 4 Md | ≈ 35 Md | dès 3,19 $US |
| H100 SXMHopper | 80 Go | HBM3 | 3 350 Go/s | 989 TFLOPS | ≈ 4 Md | ≈ 30 Md | dès 2,88 $US |
| A100 SXMAmpere | 80 Go | HBM2e | 2 039 Go/s | 312 TFLOPS | ≈ 4 Md | ≈ 30 Md | dès 1,79 $US |
| A100 PCIeAmpere | 80 Go | HBM2e | 1 935 Go/s | 312 TFLOPS | ≈ 4 Md | ≈ 30 Md | dès 1,79 $US |
Caractéristiques du constructeur, par GPU ; débits tensoriels sans parcimonie. Les tailles de modèle sont des estimations prudentes en milliards de paramètres, en comptant 80 % de la mémoire ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Les prix sont la meilleure offre en direct pour un GPU à l’heure, hors taxes.
Tous les modèles de GPUCe qui compte : entraînement de LLM
La mémoire fixe la taille du modèle
L’entraînement en précision mixte avec l’optimiseur Adam demande environ 16 octets par paramètre, activations non comprises. Un GPU de 80 Go entraîne donc des modèles de quelques milliards de paramètres ; les modèles plus grands sont répartis sur 8 GPU ou plus, en parallélisme de données partitionné (FSDP, ZeRO) ou en parallélisme de tenseurs.
Débit tensoriel et précision
L’entraînement se fait surtout en BF16, et les GPU récents ajoutent le FP8. C’est le débit tensoriel dense qui se traduit en tokens par seconde : comparez la colonne BF16, en gardant à l’esprit que les chiffres publiés avec parcimonie valent le double de la valeur dense.
Interconnexion pour les calculs sur plusieurs GPU
Dès qu’un modèle est réparti sur plusieurs GPU, ceux-ci échangent leurs gradients à chaque étape. Les cartes SXM avec NVLink, ou AMD Infinity Fabric, gardent cet échange rapide ; les cartes PCIe conviennent aux petits calculs et au parallélisme de données, où chaque GPU contient une copie complète du modèle.
Comparer des GPU : entraînement de LLM
GPU pour entraîner de grands modèles de langage : questions fréquentes
De combien de mémoire GPU ai-je besoin pour entraîner un LLM ?
En règle prudente, environ 16 octets par paramètre pour les poids, les gradients et les états d’Adam en précision mixte, plus les activations. Un modèle de 7 milliards de paramètres demande plus de 100 Go au total : il s’entraîne sur plusieurs GPU de 80 Go, ou sur moins de GPU avec partitionnement et recalcul des activations.
H100 ou A100 pour l’entraînement ?
Les deux ont 80 Go de mémoire. La H100 SXM publie environ trois fois le débit tensoriel BF16 dense de l’A100 SXM et ajoute le FP8, avec une bande passante mémoire plus élevée ; l’A100 reste un choix solide pour les calculs qui ne sont pas limités par le calcul.
Puis-je entraîner sur des cartes GeForce ?
Pour de petits modèles et des expériences, oui. Pour des entraînements plus lourds, 24 à 32 Go par carte et l’absence d’interconnexion rapide entre GPU limitent le passage à l’échelle ; c’est pourquoi cette page liste d’abord des GPU de centre de données.
Comment louer un GPU sur EverXCloud pour l’usage entraînement de LLM ?
Créez un compte, rechargez votre solde prépayé en euros, en dollars américains ou en livres, puis achetez des heures de GPU sur la bourse au comptant à la meilleure offre, ou déposez une demande au prix que vous êtes prêt à payer. Les locations sont facturées à l’heure. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.
Autres usages
- GPU pour le réglage fin de modèles ouverts
Adaptateurs LoRA et QLoRA sur un seul GPU, dès 24 Go.
- GPU pour l’inférence de LLM
Servir des modèles ouverts : ce qui tient en mémoire, et à quelle vitesse viennent les tokens.
- GPU pour la génération d’images et de vidéos
Modèles de diffusion pour l’image et la vidéo, des cartes de 24 Go aux GPU de 80 Go.
- GPU pour le rendu 3D et les effets visuels
Rendu en lancer de rayons, effets visuels et moteurs temps réel.
- GPU pour le calcul scientifique et la simulation
Codes de simulation et HPC sur GPU de centre de données à mémoire HBM.