L40S vs H100 PCIe
Especificaciones del fabricante de la L40S y la H100 PCIe, frente a frente, por GPU. Un valor que el fabricante no publica para el modelo exacto se indica como tal, nunca se estima.
NVIDIA L40S 48GB
Ada Lovelace
- Memoria GPU
- 48 GB
- Ancho de banda de memoria
- 864 GB/s
Precio en directo en EverXCloud · desde 0,79 US$ por hora de GPU
Usos adecuados
NVIDIA H100 PCIe 80GB
Hopper
- Memoria GPU
- 80 GB
- Ancho de banda de memoria
- 2000 GB/s
Precio en directo en EverXCloud · desde 2,89 US$ por hora de GPU
Diferencias clave
- La H100 PCIe tiene 1,7× la memoria GPU de la L40S (80 GB frente a 48 GB).
- La H100 PCIe tiene 2,3× el ancho de banda de memoria de la L40S (2000 frente a 864 GB/s), lo que suele marcar el ritmo de generación de tokens de un LLM.
- La H100 PCIe tiene 2,1× el rendimiento tensorial BF16 denso de la L40S (756 frente a 362 TFLOPS), la precisión de la mayoría de los entrenamientos.
- La H100 PCIe tiene 2,1× el rendimiento tensorial FP8 denso de la L40S (1513 frente a 733 TFLOPS).
- La L40S tiene núcleos de trazado de rayos para el renderizado 3D; la H100 PCIe, no.
Especificaciones
| Especificación | L40S | H100 PCIe |
|---|---|---|
| Memoria GPU | 48 GB | 80 GB (mayor) |
| Tipo de memoria | GDDR6 | HBM2e |
| Ancho de banda de memoria | 864 GB/s | 2000 GB/s (mayor) |
| Tensor FP16 | 362 TFLOPS | 756 TFLOPS (mayor) |
| Tensor BF16 | 362 TFLOPS | 756 TFLOPS (mayor) |
| Tensor FP8 | 733 TFLOPS | 1513 TFLOPS (mayor) |
| Potencia máx. | 350 W | 350 W |
| Arquitectura | Ada Lovelace | Hopper |
| Interconexión | PCIe 4.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
El valor más alto de cada fila medida aparece en negrita. Especificaciones del fabricante, por GPU. El rendimiento tensorial se indica sin dispersión (sparsity). Los valores que el fabricante no publica para este modelo exacto no se muestran.
Qué cabe en memoria, en una sola GPU
| Carga de trabajo | L40S | H100 PCIe |
|---|---|---|
| Inferencia de LLM, 16 bits | ≈ 15 mil millones de parámetros | ≈ 30 mil millones de parámetros |
| Inferencia de LLM, 4 bits | ≈ 60 mil millones de parámetros | ≈ 100 mil millones de parámetros |
| Entrenamiento completo, precisión mixta | ≈ 2 mil millones de parámetros | ≈ 4 mil millones de parámetros |
Estimaciones prudentes que cuentan el 80 % de la memoria para los pesos del modelo; la longitud de contexto, el tamaño de lote y el framework modifican el límite real. Varias GPU juntas admiten modelos más grandes.
L40S vs H100 PCIe: preguntas frecuentes
¿Cuál tiene más memoria, la L40S o la H100 PCIe?
La H100 PCIe tiene 80 GB de memoria GPU, frente a 48 GB de la L40S.
¿Cuál es más rápida para la inferencia de LLM, la L40S o la H100 PCIe?
La generación de tokens suele estar limitada por el ancho de banda de memoria, y la H100 PCIe tiene 2,3× el ancho de banda de la L40S. Después, el tamaño de memoria decide qué modelos caben. Mida su propio modelo antes de una ejecución grande.
¿Puedo alquilar la L40S y la H100 PCIe por horas?
Sí, cuando los vendedores las publican en el mercado spot de EverXCloud: usted compra horas de GPU al precio en directo con un saldo prepago en euros, dólares estadounidenses o libras. Los precios se muestran sin impuestos y EverXCloud es el vendedor oficial (merchant of record) de cada alquiler.
Esté listo el día del lanzamiento
Cree su cuenta ahora: podrá recargar su saldo y alquilar la GPU adecuada para su carga de trabajo en cuanto abra el mercado.
¿Tiene servidores GPU?
Las empresas pueden unirse a la red EverXCloud Network y vender horas de sus servidores GPU en el mercado spot.