H100 SXM vs H100 PCIe
Les caractéristiques du constructeur de la H100 SXM et de la H100 PCIe, côte à côte, par GPU. Une valeur que le constructeur ne publie pas pour le modèle exact est signalée comme telle, jamais estimée.
NVIDIA H100 SXM 80GB
Hopper
- Mémoire GPU
- 80 Go
- Bande passante mémoire
- 3 350 Go/s
Prix en direct sur EverXCloud · dès 2,88 $US par heure de GPU
NVIDIA H100 PCIe 80GB
Hopper
- Mémoire GPU
- 80 Go
- Bande passante mémoire
- 2 000 Go/s
Prix en direct sur EverXCloud · dès 2,89 $US par heure de GPU
Principales différences
- Les deux ont 80 Go de mémoire GPU.
- La H100 SXM a 1,7× la bande passante mémoire de la H100 PCIe (3 350 contre 2 000 Go/s), qui fixe généralement le rythme de génération des tokens d’un LLM.
- La H100 SXM a 1,3× le débit tensoriel BF16 dense de la H100 PCIe (989 contre 756 TFLOPS), la précision de la plupart des entraînements.
- La H100 SXM a 1,3× le débit tensoriel FP8 dense de la H100 PCIe (1 979 contre 1 513 TFLOPS).
Caractéristiques
| Caractéristique | H100 SXM | H100 PCIe |
|---|---|---|
| Mémoire GPU | 80 Go | 80 Go |
| Type de mémoire | HBM3 | HBM2e |
| Bande passante mémoire | 3 350 Go/s (la plus élevée) | 2 000 Go/s |
| Tenseurs FP16 | 989 TFLOPS (la plus élevée) | 756 TFLOPS |
| Tenseurs BF16 | 989 TFLOPS (la plus élevée) | 756 TFLOPS |
| Tenseurs FP8 | 1 979 TFLOPS (la plus élevée) | 1 513 TFLOPS |
| Puissance max. | 700 W | 350 W |
| Architecture | Hopper | Hopper |
| Interconnexion | NVLink 4 (900 GB/s) · PCIe 5.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
La valeur la plus élevée de chaque ligne chiffrée est en gras. Caractéristiques du constructeur, par GPU. Débits tensoriels sans parcimonie. Les valeurs que le constructeur ne publie pas pour ce modèle exact ne sont pas affichées.
Ce qui tient en mémoire, sur un GPU
| Usage | H100 SXM | H100 PCIe |
|---|---|---|
| Inférence de LLM, 16 bits | ≈ 30 Md de paramètres | ≈ 30 Md de paramètres |
| Inférence de LLM, 4 bits | ≈ 100 Md de paramètres | ≈ 100 Md de paramètres |
| Entraînement complet, précision mixte | ≈ 4 Md de paramètres | ≈ 4 Md de paramètres |
Estimations prudentes en comptant 80 % de la mémoire pour les poids du modèle ; la longueur de contexte, la taille des lots et le cadriciel modifient la limite réelle. Plusieurs GPU ensemble accueillent de plus grands modèles.
H100 SXM vs H100 PCIe : questions fréquentes
Qui a le plus de mémoire, la H100 SXM ou la H100 PCIe ?
Les deux ont 80 Go de mémoire GPU.
Laquelle est la plus rapide pour l’inférence de LLM, la H100 SXM ou la H100 PCIe ?
La génération de tokens est généralement limitée par la bande passante mémoire, et la H100 SXM a 1,7× la bande passante de la H100 PCIe. La taille de la mémoire décide ensuite des modèles qui tiennent. Mesurez votre propre modèle avant un calcul d’envergure.
Puis-je louer la H100 SXM et la H100 PCIe à l’heure ?
Oui, quand des vendeurs les listent sur la bourse au comptant EverXCloud : vous achetez des heures de GPU au prix en direct depuis un solde prépayé en euros, en dollars américains ou en livres. Les prix sont affichés hors taxes et EverXCloud est le vendeur officiel de chaque location.
Soyez prêt le jour du lancement
Créez votre compte dès maintenant : vous pourrez approvisionner votre solde et louer le GPU adapté à votre usage dès l’ouverture du marché.
Vous avez des serveurs GPU ?
Les entreprises peuvent rejoindre l’EverXCloud Network et vendre des heures de leurs serveurs GPU sur la bourse au comptant.