A100 SXM vs Tesla V100
Especificações do fabricante da A100 SXM e da Tesla V100, lado a lado, por GPU. Um valor que o fabricante não publica para o modelo exato é assinalado como tal, nunca estimado.
NVIDIA A100 SXM 40GB
Ampere
- Memória GPU
- 40 GB
- Largura de banda da memória
- 1.555 GB/s
Preço em tempo real na EverXCloud · a partir de US$ 0,34 por hora de GPU
NVIDIA Tesla V100 32GB
Volta
- Memória GPU
- 32 GB
- Largura de banda da memória
- 900 GB/s
Preço em tempo real na EverXCloud · a partir de US$ 0,10 por hora de GPU
Usos adequadas
Diferenças principais
- A A100 SXM tem 1,3× a memória GPU da Tesla V100 (40 GB contra 32 GB).
- A A100 SXM tem 1,7× a largura de banda da memória da Tesla V100 (1.555 contra 900 GB/s), o que costuma definir o ritmo de geração de tokens de um LLM.
Especificações
| Especificação | A100 SXM | Tesla V100 |
|---|---|---|
| Memória GPU | 40 GB (maior) | 32 GB |
| Tipo de memória | HBM2 | HBM2 |
| Largura de banda da memória | 1.555 GB/s (maior) | 900 GB/s |
| Tensor FP16 | 312 TFLOPS | Não publicado |
| Tensor BF16 | 312 TFLOPS | Não publicado |
| Potência máx. | 400 W | Não publicado |
| Arquitetura | Ampere | Volta |
| Interligação | NVLink 3 (600 GB/s) · PCIe 4.0 | Não publicado |
O valor mais alto de cada linha medida aparece em negrito. Especificações do fabricante, por GPU. O débito tensorial é apresentado sem esparsidade. Os valores que o fabricante não publica para este modelo exato não são apresentados.
O que cabe na memória, numa única GPU
| Carga de trabalho | A100 SXM | Tesla V100 |
|---|---|---|
| Inferência de LLM, 16 bits | ≈ 15 mil milhões de parâmetros | ≈ 10 mil milhões de parâmetros |
| Inferência de LLM, 4 bits | ≈ 50 mil milhões de parâmetros | ≈ 40 mil milhões de parâmetros |
| Treino completo, precisão mista | ≈ 2 mil milhões de parâmetros | ≈ 1 mil milhões de parâmetros |
Estimativas prudentes que contam 80 % da memória para os pesos do modelo; o comprimento do contexto, o tamanho do lote e a framework alteram o limite real. Várias GPU em conjunto comportam modelos maiores.
A100 SXM vs Tesla V100: perguntas frequentes
Qual tem mais memória, a A100 SXM ou a Tesla V100?
A A100 SXM tem 40 GB de memória GPU, contra 32 GB da Tesla V100.
Qual é mais rápida para inferência de LLM, a A100 SXM ou a Tesla V100?
A geração de tokens está normalmente limitada pela largura de banda da memória, e a A100 SXM tem 1,7× a largura de banda da Tesla V100. O tamanho da memória decide depois que modelos cabem. Meça o seu próprio modelo antes de uma execução de grande dimensão.
Posso alugar a A100 SXM e a Tesla V100 por hora?
Sim, quando os vendedores as listam na bolsa spot da EverXCloud: compra horas de GPU ao preço em tempo real a partir de um saldo pré-pago em euros, dólares norte-americanos ou libras. Os preços são apresentados sem impostos e a EverXCloud é o vendedor oficial (merchant of record) de cada aluguel.
Esteja pronto no dia do lançamento
Crie sua conta agora: você poderá recarregar seu saldo e alugar a GPU adequada à sua carga de trabalho assim que o mercado abrir.
Tem servidores GPU?
As empresas podem aderir à rede EverXCloud Network e vender horas dos seus servidores GPU na bolsa spot.