MI300X vs H100 SXM
Especificações do fabricante da MI300X e da H100 SXM, lado a lado, por GPU. Um valor que o fabricante não publica para o modelo exato é assinalado como tal, nunca estimado.
AMD Instinct MI300X 192GB
CDNA 3
- Memória GPU
- 192 GB
- Largura de banda da memória
- 5.300 GB/s
Preço em tempo real na EverXCloud · a partir de US$ 4,16 por hora de GPU
NVIDIA H100 SXM 80GB
Hopper
- Memória GPU
- 80 GB
- Largura de banda da memória
- 3.350 GB/s
Preço em tempo real na EverXCloud · a partir de US$ 2,88 por hora de GPU
Diferenças principais
- A MI300X tem 2,4× a memória GPU da H100 SXM (192 GB contra 80 GB).
- A MI300X tem 1,6× a largura de banda da memória da H100 SXM (5.300 contra 3.350 GB/s), o que costuma definir o ritmo de geração de tokens de um LLM.
- A MI300X tem 1,3× o débito tensorial BF16 denso da H100 SXM (1.307 contra 989 TFLOPS), a precisão da maioria dos treinos.
- A MI300X tem 1,3× o débito tensorial FP8 denso da H100 SXM (2.614 contra 1.979 TFLOPS).
Especificações
| Especificação | MI300X | H100 SXM |
|---|---|---|
| Memória GPU | 192 GB (maior) | 80 GB |
| Tipo de memória | HBM3 | HBM3 |
| Largura de banda da memória | 5.300 GB/s (maior) | 3.350 GB/s |
| Tensor FP16 | 1.307 TFLOPS (maior) | 989 TFLOPS |
| Tensor BF16 | 1.307 TFLOPS (maior) | 989 TFLOPS |
| Tensor FP8 | 2.614 TFLOPS (maior) | 1.979 TFLOPS |
| Potência máx. | 750 W | 700 W |
| Arquitetura | CDNA 3 | Hopper |
| Interligação | AMD Infinity Fabric (128 GB/s per link) · PCIe 5.0 | NVLink 4 (900 GB/s) · PCIe 5.0 |
O valor mais alto de cada linha medida aparece em negrito. Especificações do fabricante, por GPU. O débito tensorial é apresentado sem esparsidade. Os valores que o fabricante não publica para este modelo exato não são apresentados.
O que cabe na memória, numa única GPU
| Carga de trabalho | MI300X | H100 SXM |
|---|---|---|
| Inferência de LLM, 16 bits | ≈ 75 mil milhões de parâmetros | ≈ 30 mil milhões de parâmetros |
| Inferência de LLM, 4 bits | ≈ 250 mil milhões de parâmetros | ≈ 100 mil milhões de parâmetros |
| Treino completo, precisão mista | ≈ 9 mil milhões de parâmetros | ≈ 4 mil milhões de parâmetros |
Estimativas prudentes que contam 80 % da memória para os pesos do modelo; o comprimento do contexto, o tamanho do lote e a framework alteram o limite real. Várias GPU em conjunto comportam modelos maiores.
MI300X vs H100 SXM: perguntas frequentes
Qual tem mais memória, a MI300X ou a H100 SXM?
A MI300X tem 192 GB de memória GPU, contra 80 GB da H100 SXM.
Qual é mais rápida para inferência de LLM, a MI300X ou a H100 SXM?
A geração de tokens está normalmente limitada pela largura de banda da memória, e a MI300X tem 1,6× a largura de banda da H100 SXM. O tamanho da memória decide depois que modelos cabem. Meça o seu próprio modelo antes de uma execução de grande dimensão.
Posso alugar a MI300X e a H100 SXM por hora?
Sim, quando os vendedores as listam na bolsa spot da EverXCloud: compra horas de GPU ao preço em tempo real a partir de um saldo pré-pago em euros, dólares norte-americanos ou libras. Os preços são apresentados sem impostos e a EverXCloud é o vendedor oficial (merchant of record) de cada aluguel.
Esteja pronto no dia do lançamento
Crie sua conta agora: você poderá recarregar seu saldo e alugar a GPU adequada à sua carga de trabalho assim que o mercado abrir.
Tem servidores GPU?
As empresas podem aderir à rede EverXCloud Network e vender horas dos seus servidores GPU na bolsa spot.