MI300X vs H200
Les caractéristiques du constructeur de la MI300X et de la H200, côte à côte, par GPU. Une valeur que le constructeur ne publie pas pour le modèle exact est signalée comme telle, jamais estimée.
AMD Instinct MI300X 192GB
CDNA 3
- Mémoire GPU
- 192 Go
- Bande passante mémoire
- 5 300 Go/s
Prix en direct sur EverXCloud · dès 4,16 $US par heure de GPU
NVIDIA H200 141GB
Hopper
- Mémoire GPU
- 141 Go
- Bande passante mémoire
- 4 800 Go/s
Prix en direct sur EverXCloud · dès 4,19 $US par heure de GPU
Principales différences
- La MI300X a 1,4× la mémoire GPU de la H200 (192 Go contre 141 Go).
- La MI300X a 1,1× la bande passante mémoire de la H200 (5 300 contre 4 800 Go/s), qui fixe généralement le rythme de génération des tokens d’un LLM.
- La MI300X a 1,3× le débit tensoriel BF16 dense de la H200 (1 307 contre 989 TFLOPS), la précision de la plupart des entraînements.
- La MI300X a 1,3× le débit tensoriel FP8 dense de la H200 (2 614 contre 1 979 TFLOPS).
Caractéristiques
| Caractéristique | MI300X | H200 |
|---|---|---|
| Mémoire GPU | 192 Go (la plus élevée) | 141 Go |
| Type de mémoire | HBM3 | HBM3e |
| Bande passante mémoire | 5 300 Go/s (la plus élevée) | 4 800 Go/s |
| Tenseurs FP16 | 1 307 TFLOPS (la plus élevée) | 989 TFLOPS |
| Tenseurs BF16 | 1 307 TFLOPS (la plus élevée) | 989 TFLOPS |
| Tenseurs FP8 | 2 614 TFLOPS (la plus élevée) | 1 979 TFLOPS |
| Puissance max. | 750 W | 700 W |
| Architecture | CDNA 3 | Hopper |
| Interconnexion | AMD Infinity Fabric (128 GB/s per link) · PCIe 5.0 | NVLink 4 (900 GB/s) · PCIe 5.0 |
La valeur la plus élevée de chaque ligne chiffrée est en gras. Caractéristiques du constructeur, par GPU. Débits tensoriels sans parcimonie. Les valeurs que le constructeur ne publie pas pour ce modèle exact ne sont pas affichées.
Ce qui tient en mémoire, sur un GPU
| Usage | MI300X | H200 |
|---|---|---|
| Inférence de LLM, 16 bits | ≈ 75 Md de paramètres | ≈ 55 Md de paramètres |
| Inférence de LLM, 4 bits | ≈ 250 Md de paramètres | ≈ 180 Md de paramètres |
| Entraînement complet, précision mixte | ≈ 9 Md de paramètres | ≈ 7 Md de paramètres |
Estimations prudentes en comptant 80 % de la mémoire pour les poids du modèle ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Plusieurs GPU ensemble accueillent de plus grands modèles.
MI300X vs H200 : questions fréquentes
Qui a le plus de mémoire, la MI300X ou la H200 ?
La MI300X a 192 Go de mémoire GPU, contre 141 Go pour la H200.
Laquelle est la plus rapide pour l’inférence de LLM, la MI300X ou la H200 ?
La génération de tokens est généralement limitée par la bande passante mémoire, et la MI300X a 1,1× la bande passante de la H200. La taille de la mémoire décide ensuite des modèles qui tiennent. Mesurez votre propre modèle avant un calcul d’envergure.
Puis-je louer la MI300X et la H200 à l’heure ?
Oui, quand des vendeurs les listent sur la bourse au comptant EverXCloud : vous achetez des heures de GPU au prix en direct depuis un solde prépayé en euros, en dollars américains ou en livres. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.