MI300X vs H200
Especificaciones del fabricante de la MI300X y la H200, frente a frente, por GPU. Un valor que el fabricante no publica para el modelo exacto se indica como tal, nunca se estima.
AMD Instinct MI300X 192GB
CDNA 3
- Memoria GPU
- 192 GB
- Ancho de banda de memoria
- 5300 GB/s
Precio en directo en EverXCloud · desde 4,16 US$ por hora de GPU
NVIDIA H200 141GB
Hopper
- Memoria GPU
- 141 GB
- Ancho de banda de memoria
- 4800 GB/s
Precio en directo en EverXCloud · desde 4,19 US$ por hora de GPU
Diferencias clave
- La MI300X tiene 1,4× la memoria GPU de la H200 (192 GB frente a 141 GB).
- La MI300X tiene 1,1× el ancho de banda de memoria de la H200 (5300 frente a 4800 GB/s), lo que suele marcar el ritmo de generación de tokens de un LLM.
- La MI300X tiene 1,3× el rendimiento tensorial BF16 denso de la H200 (1307 frente a 989 TFLOPS), la precisión de la mayoría de los entrenamientos.
- La MI300X tiene 1,3× el rendimiento tensorial FP8 denso de la H200 (2614 frente a 1979 TFLOPS).
Especificaciones
| Especificación | MI300X | H200 |
|---|---|---|
| Memoria GPU | 192 GB (mayor) | 141 GB |
| Tipo de memoria | HBM3 | HBM3e |
| Ancho de banda de memoria | 5300 GB/s (mayor) | 4800 GB/s |
| Tensor FP16 | 1307 TFLOPS (mayor) | 989 TFLOPS |
| Tensor BF16 | 1307 TFLOPS (mayor) | 989 TFLOPS |
| Tensor FP8 | 2614 TFLOPS (mayor) | 1979 TFLOPS |
| Potencia máx. | 750 W | 700 W |
| Arquitectura | CDNA 3 | Hopper |
| Interconexión | AMD Infinity Fabric (128 GB/s per link) · PCIe 5.0 | NVLink 4 (900 GB/s) · PCIe 5.0 |
El valor más alto de cada fila medida aparece en negrita. Especificaciones del fabricante, por GPU. El rendimiento tensorial se indica sin dispersión (sparsity). Los valores que el fabricante no publica para este modelo exacto no se muestran.
Qué cabe en memoria, en una sola GPU
| Carga de trabajo | MI300X | H200 |
|---|---|---|
| Inferencia de LLM, 16 bits | ≈ 75 mil millones de parámetros | ≈ 55 mil millones de parámetros |
| Inferencia de LLM, 4 bits | ≈ 250 mil millones de parámetros | ≈ 180 mil millones de parámetros |
| Entrenamiento completo, precisión mixta | ≈ 9 mil millones de parámetros | ≈ 7 mil millones de parámetros |
Estimaciones prudentes que cuentan el 80 % de la memoria para los pesos del modelo; la longitud de contexto, el tamaño de lote y el framework modifican el límite real. Varias GPU juntas admiten modelos más grandes.
MI300X vs H200: preguntas frecuentes
¿Cuál tiene más memoria, la MI300X o la H200?
La MI300X tiene 192 GB de memoria GPU, frente a 141 GB de la H200.
¿Cuál es más rápida para la inferencia de LLM, la MI300X o la H200?
La generación de tokens suele estar limitada por el ancho de banda de memoria, y la MI300X tiene 1,1× el ancho de banda de la H200. Después, el tamaño de memoria decide qué modelos caben. Mida su propio modelo antes de una ejecución grande.
¿Puedo alquilar la MI300X y la H200 por horas?
Sí, cuando los vendedores las publican en el mercado spot de EverXCloud: usted compra horas de GPU al precio en directo con un saldo prepago en euros, dólares estadounidenses o libras. Los precios se muestran sin impuestos y EverXCloud es el vendedor oficial (merchant of record) de cada alquiler.
Esté listo el día del lanzamiento
Cree su cuenta ahora: podrá recargar su saldo y alquilar la GPU adecuada para su carga de trabajo en cuanto abra el mercado.
¿Tiene servidores GPU?
Las empresas pueden unirse a la red EverXCloud Network y vender horas de sus servidores GPU en el mercado spot.