NVIDIA L40S 48GB
Ada Lovelace
- GPU 메모리
- 48GB
- 메모리 대역폭
- 864GB/s
EverXCloud 실시간 가격 · GPU 시간당 US$0.79부터
NVIDIA H100 PCIe 80GB
Hopper
- GPU 메모리
- 80GB
- 메모리 대역폭
- 2,000GB/s
EverXCloud 실시간 가격 · GPU 시간당 US$2.89부터
주요 차이점
- H100 PCIe의 GPU 메모리는 L40S의 1.7×입니다(80GB vs 48GB).
- H100 PCIe의 메모리 대역폭은 L40S의 2.3×입니다(2,000 vs 864 GB/s). 이는 보통 LLM 토큰 생성 속도를 좌우합니다.
- H100 PCIe의 밀집 BF16 텐서 성능은 L40S의 2.1×입니다(756 vs 362 TFLOPS). 대부분의 학습에 쓰이는 정밀도입니다.
- H100 PCIe의 밀집 FP8 텐서 성능은 L40S의 2.1×입니다(1,513 vs 733 TFLOPS).
- L40S에는 3D 렌더링용 레이 트레이싱 코어가 있지만 H100 PCIe에는 없습니다.
사양
| 항목 | L40S | H100 PCIe |
|---|---|---|
| GPU 메모리 | 48GB | 80GB (더 높음) |
| 메모리 유형 | GDDR6 | HBM2e |
| 메모리 대역폭 | 864GB/s | 2,000GB/s (더 높음) |
| FP16 텐서 | 362 TFLOPS | 756 TFLOPS (더 높음) |
| BF16 텐서 | 362 TFLOPS | 756 TFLOPS (더 높음) |
| FP8 텐서 | 733 TFLOPS | 1,513 TFLOPS (더 높음) |
| 최대 전력 | 350W | 350W |
| 아키텍처 | Ada Lovelace | Hopper |
| 인터커넥트 | PCIe 4.0 | NVLink bridge (600 GB/s) · PCIe 5.0 |
측정 항목마다 더 높은 값을 굵게 표시합니다. 제조사 사양, GPU당 기준. 텐서 성능은 희소성 미적용 값입니다. 제조사가 이 모델에 대해 공개하지 않은 값은 생략했습니다.
GPU 1개 메모리에 들어가는 것
| 작업 | L40S | H100 PCIe |
|---|---|---|
| LLM 추론, 16비트 | ≈ 15B 파라미터 | ≈ 30B 파라미터 |
| LLM 추론, 4비트 | ≈ 60B 파라미터 | ≈ 100B 파라미터 |
| 전체 학습, 혼합 정밀도 | ≈ 2B 파라미터 | ≈ 4B 파라미터 |
메모리의 80%를 모델 가중치에 할당한 보수적인 추정입니다. 컨텍스트 길이, 배치 크기, 프레임워크에 따라 실제 한도는 달라집니다. 여러 GPU를 함께 쓰면 더 큰 모델을 담을 수 있습니다.
L40S vs H100 PCIe: 자주 묻는 질문
L40S와(과) H100 PCIe 중 메모리가 더 많은 것은?
H100 PCIe의 GPU 메모리는 80GB이고, L40S는 48GB입니다.
LLM 추론은 L40S와(과) H100 PCIe 중 어느 쪽이 더 빠른가요?
토큰 생성은 보통 메모리 대역폭에 좌우되며, H100 PCIe의 대역폭은 L40S의 2.3×입니다. 어떤 모델이 들어가는지는 메모리 크기가 결정합니다. 대규모 실행 전에 직접 모델로 측정해 보세요.
L40S와(과) H100 PCIe를 시간 단위로 대여할 수 있나요?
네, 판매자가 EverXCloud 스팟 거래소에 등록하면 가능합니다. 유로, 미국 달러 또는 파운드 선불 잔액으로 실시간 가격에 GPU 시간을 구매합니다. 가격은 세금 별도로 표시되며 EverXCloud가 모든 대여의 판매 주체입니다.
출시일에 바로 시작하세요
지금 계정을 만드세요. 마켓이 열리는 즉시 잔액을 충전하고 작업에 맞는 GPU를 대여할 수 있습니다.
GPU 서버를 보유하고 계신가요?
기업은 EverXCloud Network에 참여해 GPU 서버의 시간을 스팟 거래소에서 판매할 수 있습니다.