GPU pour le réglage fin de modèles ouverts
Le réglage fin économe en paramètres entraîne de petits adaptateurs au-dessus d’un modèle de base figé. Les besoins en mémoire baissent nettement, et un seul GPU suffit souvent : il faut seulement que le modèle de base tienne, en 16 bits avec LoRA ou en 4 bits avec QLoRA, avec de la marge pour les activations.
GPU adaptés : réglage fin
Faites défiler horizontalement pour voir toutes les colonnes.
| GPU | Mémoire | Bande passante | QLoRA, modèle de base | LoRA 16 bits, modèle de base | Prix/h |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 Go | 1 008 Go/s | ≈ 15 Md | ≈ 7 Md | dès 0,33 $US |
| RTX 5090Blackwell | 32 Go | 1 792 Go/s | ≈ 25 Md | ≈ 10 Md | dès 0,69 $US |
| RTX A6000Ampere | 48 Go | 768 Go/s | ≈ 35 Md | ≈ 15 Md | dès 0,33 $US |
| L40SAda Lovelace | 48 Go | 864 Go/s | ≈ 35 Md | ≈ 15 Md | dès 0,79 $US |
| RTX 6000 AdaAda Lovelace | 48 Go | 960 Go/s | ≈ 35 Md | ≈ 15 Md | dès 0,74 $US |
| A100 SXMAmpere | 80 Go | 2 039 Go/s | ≈ 60 Md | ≈ 25 Md | dès 1,79 $US |
| H100 SXMHopper | 80 Go | 3 350 Go/s | ≈ 60 Md | ≈ 25 Md | dès 2,88 $US |
| RTX PRO 6000 BlackwellBlackwell | 96 Go | 1 792 Go/s | ≈ 75 Md | ≈ 30 Md | dès 1,69 $US |
| H200Hopper | 141 Go | 4 800 Go/s | ≈ 110 Md | ≈ 45 Md | dès 4,19 $US |
Caractéristiques du constructeur, par GPU ; débits tensoriels sans parcimonie. Les tailles de modèle sont des estimations prudentes en milliards de paramètres, en comptant 80 % de la mémoire ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Les prix sont la meilleure offre en direct pour un GPU à l’heure, hors taxes.
Tous les modèles de GPUCe qui compte : réglage fin
LoRA ou QLoRA
LoRA garde le modèle de base en 16 bits et entraîne des adaptateurs de rang faible : environ 2 octets par paramètre pour les poids figés. QLoRA quantifie le modèle de base sur 4 bits, ce qui ramène ce coût bien en dessous d’1 octet par paramètre, au prix d’étapes plus lentes. Le tableau estime, avec de la marge, le plus grand modèle de base pour chacun.
Longueur de séquence et taille de lot
Les activations augmentent avec la longueur de séquence et la taille de lot. Un réglage fin à long contexte demande plus de marge que ne le supposent les estimations ; le recalcul des gradients et des micro-lots plus petits échangent de la vitesse contre de la mémoire.
D’abord un seul GPU
Une carte de 24 ou 32 Go suffit pour régler finement de nombreux modèles de 7 à 14 milliards de paramètres avec QLoRA. Passez à des GPU de 48 ou 80 Go pour LoRA en 16 bits sur de plus grands modèles, ou à plusieurs GPU pour un réglage fin complet.
Comparer des GPU : réglage fin
GPU pour le réglage fin de modèles ouverts : questions fréquentes
Quel GPU faut-il pour le réglage fin d’un modèle 7B ?
Avec QLoRA, un GPU de 24 Go comme la RTX 4090 suffit généralement pour un modèle de 7 ou 8 milliards de paramètres avec des longueurs de séquence modérées. Avec LoRA en 16 bits, un GPU de 48 Go laisse une marge confortable.
QLoRA est-il plus lent que LoRA ?
En général, oui : les poids sur 4 bits sont déquantifiés à chaque étape. QLoRA échange un peu de vitesse contre une empreinte mémoire bien plus petite, ce qui permet un GPU moins cher ou un modèle de base plus grand.
Quand faut-il plutôt un réglage fin complet ?
Quand les adaptateurs ne suffisent pas pour le changement souhaité, tous les poids sont entraînés et les besoins en mémoire redeviennent ceux de l’entraînement, environ 16 octets par paramètre. Voir la page Entraînement de LLM pour les GPU adaptés.
Comment louer un GPU sur EverXCloud pour l’usage réglage fin ?
Créez un compte, rechargez votre solde prépayé en euros, en dollars américains ou en livres, puis achetez des heures de GPU sur la bourse au comptant à la meilleure offre, ou déposez une demande au prix que vous êtes prêt à payer. Les locations sont facturées à l’heure. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.
Autres usages
- GPU pour entraîner de grands modèles de langage
Pré-entraînement et réglage fin complet sur GPU de centre de données à mémoire HBM.
- GPU pour l’inférence de LLM
Servir des modèles ouverts : ce qui tient en mémoire, et à quelle vitesse viennent les tokens.
- GPU pour la génération d’images et de vidéos
Modèles de diffusion pour l’image et la vidéo, des cartes de 24 Go aux GPU de 80 Go.
- GPU pour le rendu 3D et les effets visuels
Rendu en lancer de rayons, effets visuels et moteurs temps réel.
- GPU pour le calcul scientifique et la simulation
Codes de simulation et HPC sur GPU de centre de données à mémoire HBM.