GPU pour l’inférence de LLM
Servir un modèle de langage a deux limites : les poids et le cache KV doivent tenir dans la mémoire du GPU, et chaque token généré relit les poids en mémoire. La taille de la mémoire décide des modèles que vous pouvez servir ; la bande passante mémoire décide en grande partie de la vitesse des réponses.
GPU adaptés : inférence de LLM
Faites défiler horizontalement pour voir toutes les colonnes.
| GPU | Mémoire | Bande passante | Tenseurs FP8 | Inférence, 16 bits | Inférence, 4 bits | Prix/h |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 Go | 300 Go/s | 242 TFLOPS | ≈ 9 Md | ≈ 30 Md | dès 0,44 $US |
| RTX 4090Ada Lovelace | 24 Go | 1 008 Go/s | Non publié | ≈ 9 Md | ≈ 30 Md | dès 0,33 $US |
| RTX 5090Blackwell | 32 Go | 1 792 Go/s | Non publié | ≈ 10 Md | ≈ 40 Md | dès 0,69 $US |
| L40SAda Lovelace | 48 Go | 864 Go/s | 733 TFLOPS | ≈ 15 Md | ≈ 60 Md | dès 0,79 $US |
| RTX PRO 6000 BlackwellBlackwell | 96 Go | 1 792 Go/s | Non publié | ≈ 35 Md | ≈ 120 Md | dès 1,69 $US |
| A100 SXMAmpere | 80 Go | 2 039 Go/s | Non publié | ≈ 30 Md | ≈ 100 Md | dès 1,79 $US |
| H100 SXMHopper | 80 Go | 3 350 Go/s | 1 979 TFLOPS | ≈ 30 Md | ≈ 100 Md | dès 2,88 $US |
| H200Hopper | 141 Go | 4 800 Go/s | 1 979 TFLOPS | ≈ 55 Md | ≈ 180 Md | dès 4,19 $US |
| MI300XCDNA 3 | 192 Go | 5 300 Go/s | 2 614 TFLOPS | ≈ 75 Md | ≈ 250 Md | dès 4,16 $US |
Caractéristiques du constructeur, par GPU ; débits tensoriels sans parcimonie. Les tailles de modèle sont des estimations prudentes en milliards de paramètres, en comptant 80 % de la mémoire ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Les prix sont la meilleure offre en direct pour un GPU à l’heure, hors taxes.
Tous les modèles de GPUCe qui compte : inférence de LLM
Loger le modèle, puis le cache
Un modèle demande environ 2 octets par paramètre en 16 bits et environ un demi-octet en quantification sur 4 bits. Le cache KV croît avec la longueur de contexte et le nombre de requêtes simultanées : c’est pourquoi les estimations gardent 20 % de la mémoire libre.
La bande passante fait les tokens par seconde
Avec de petits lots, la génération de tokens est limitée par la bande passante mémoire, pas par le calcul : un GPU qui a deux fois plus de bande passante génère des tokens environ deux fois plus vite sur le même modèle. Comparez d’abord la colonne de bande passante pour les usages de type chat et agent.
Débit et FP8
Pour les traitements par lots et une forte concurrence, le débit tensoriel compte davantage. Les GPU Hopper, Ada Lovelace et plus récents prennent en charge le FP8, qui divise par deux la mémoire des poids par rapport au 16 bits et accélère les moteurs de service qui le prennent en charge.
Comparer des GPU : inférence de LLM
GPU pour l’inférence de LLM : questions fréquentes
Quel GPU faut-il pour faire tourner un modèle 70B ?
En quantification sur 4 bits, un modèle de 70 milliards de paramètres demande environ 40 Go pour les seuls poids : un GPU de 48 Go est juste, un GPU de 80 Go laisse de la place au cache. En 16 bits, il demande environ 140 Go pour les poids, soit au moins deux GPU de 80 Go.
Une RTX 4090 convient-elle à l’inférence ?
Pour des modèles jusqu’à environ 30 milliards de paramètres en 4 bits, oui : elle a 24 Go de mémoire et environ 1 To/s de bande passante. Les plus grands modèles et les longs contextes demandent plus de mémoire par GPU.
Faut-il quantifier mon modèle ?
La quantification sur 8 ou 4 bits permet de loger un modèle plus grand et accélère généralement la génération, avec une légère perte de qualité qui dépend du modèle et de la méthode. Testez la qualité sur vos propres requêtes avant de servir le modèle.
Comment louer un GPU sur EverXCloud pour l’usage inférence de LLM ?
Créez un compte, rechargez votre solde prépayé en euros, en dollars américains ou en livres, puis achetez des heures de GPU sur la bourse au comptant à la meilleure offre, ou déposez une demande au prix que vous êtes prêt à payer. Les locations sont facturées à l’heure. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.
Autres usages
- GPU pour entraîner de grands modèles de langage
Pré-entraînement et réglage fin complet sur GPU de centre de données à mémoire HBM.
- GPU pour le réglage fin de modèles ouverts
Adaptateurs LoRA et QLoRA sur un seul GPU, dès 24 Go.
- GPU pour la génération d’images et de vidéos
Modèles de diffusion pour l’image et la vidéo, des cartes de 24 Go aux GPU de 80 Go.
- GPU pour le rendu 3D et les effets visuels
Rendu en lancer de rayons, effets visuels et moteurs temps réel.
- GPU pour le calcul scientifique et la simulation
Codes de simulation et HPC sur GPU de centre de données à mémoire HBM.