LLM 추론에 맞는 GPU
옆으로 밀어 모든 열을 확인하세요.
| GPU | 메모리 | 대역폭 | FP8 텐서 | 추론, 16비트 | 추론, 4비트 | 가격/시간 |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24GB | 300GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | US$0.44부터 |
| RTX 4090Ada Lovelace | 24GB | 1,008GB/s | 미공개 | ≈ 9B | ≈ 30B | US$0.33부터 |
| RTX 5090Blackwell | 32GB | 1,792GB/s | 미공개 | ≈ 10B | ≈ 40B | US$0.69부터 |
| L40SAda Lovelace | 48GB | 864GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | US$0.79부터 |
| RTX PRO 6000 BlackwellBlackwell | 96GB | 1,792GB/s | 미공개 | ≈ 35B | ≈ 120B | US$1.69부터 |
| A100 SXMAmpere | 80GB | 2,039GB/s | 미공개 | ≈ 30B | ≈ 100B | US$1.79부터 |
| H100 SXMHopper | 80GB | 3,350GB/s | 1,979 TFLOPS | ≈ 30B | ≈ 100B | US$2.88부터 |
| H200Hopper | 141GB | 4,800GB/s | 1,979 TFLOPS | ≈ 55B | ≈ 180B | US$4.19부터 |
| MI300XCDNA 3 | 192GB | 5,300GB/s | 2,614 TFLOPS | ≈ 75B | ≈ 250B | US$4.16부터 |
제조사 사양, GPU당 기준이며 텐서 성능은 희소성 미적용 값입니다. 모델 크기는 메모리의 80%를 기준으로 한 보수적인 추정치이며 단위는 십억(B) 파라미터입니다. 컨텍스트 길이, 배치 크기, 프레임워크에 따라 실제 한도는 달라집니다. 가격은 GPU 1개 시간당 최저 실시간 오퍼(세금 별도)입니다.
모든 GPU 모델LLM 추론에서 중요한 것
모델을 먼저, 그다음 캐시
모델에는 16비트에서 파라미터당 약 2바이트, 4비트 양자화에서 약 0.5바이트가 필요합니다. KV 캐시는 컨텍스트 길이와 동시 요청 수에 따라 커지므로 추정치에서는 메모리의 20%를 비워 둡니다.
대역폭이 초당 토큰 수를 좌우합니다
배치 크기가 작을 때 토큰 생성은 연산이 아니라 메모리 대역폭에 제약됩니다. 대역폭이 2배인 GPU는 같은 모델에서 대략 2배 빠르게 토큰을 생성합니다. 채팅과 에이전트 작업에서는 대역폭 열을 먼저 비교하세요.
처리량과 FP8
배치 작업과 높은 동시성에서는 텐서 성능이 더 중요합니다. Hopper, Ada Lovelace 이후 GPU는 FP8을 지원하며, 16비트 대비 가중치 메모리를 절반으로 줄이고 이를 지원하는 서빙 엔진을 가속합니다.
LLM 추론용 GPU 비교
LLM 추론용 GPU: 자주 묻는 질문
70B 모델을 실행하려면 어떤 GPU가 필요한가요?
4비트 양자화에서 700억 파라미터 모델은 가중치만 약 40GB가 필요합니다. 48GB GPU 1개로는 빠듯하고, 80GB GPU면 캐시를 위한 여유가 남습니다. 16비트에서는 가중치만 약 140GB가 필요하므로 80GB GPU가 최소 2개 필요합니다.
RTX 4090은 추론에 적합한가요?
4비트 기준 약 300억 파라미터까지의 모델이라면 적합합니다. 24GB 메모리와 약 1TB/s의 대역폭을 갖추고 있습니다. 더 큰 모델과 긴 컨텍스트에는 GPU당 더 많은 메모리가 필요합니다.
모델을 양자화해야 하나요?
8비트나 4비트로 양자화하면 더 큰 모델이 들어가고 보통 생성도 빨라지며, 약간의 품질 저하는 모델과 방법에 따라 다릅니다. 서빙하기 전에 직접 사용하는 프롬프트로 품질을 테스트하세요.
EverXCloud에서 LLM 추론용 GPU를 대여하려면?
계정을 만들고 유로, 미국 달러 또는 파운드로 선불 잔액을 충전한 다음, 스팟 거래소에서 최우선 오퍼로 GPU 시간을 구매하거나 원하는 가격으로 요청을 등록하세요. 대여는 시간 단위로 청구됩니다. 가격은 세금 별도로 표시되며 EverXCloud가 모든 대여의 판매 주체입니다.
출시일에 바로 시작하세요
지금 계정을 만드세요. 마켓이 열리는 즉시 잔액을 충전하고 작업에 맞는 GPU를 대여할 수 있습니다.
GPU 서버를 보유하고 계신가요?
기업은 EverXCloud Network에 참여해 GPU 서버의 시간을 스팟 거래소에서 판매할 수 있습니다.
다른 작업
- 대규모 언어 모델 학습용 GPU
HBM 메모리를 갖춘 데이터센터 GPU에서의 사전 학습과 전체 파인튜닝.
- 오픈 모델 파인튜닝용 GPU
24GB 이상 GPU 1개로 LoRA·QLoRA 어댑터 학습.
- 이미지 및 영상 생성용 GPU
이미지와 영상용 확산 모델, 24GB 카드부터 80GB GPU까지.
- 3D 렌더링 및 시각 효과용 GPU
레이 트레이싱 렌더링, 시각 효과, 실시간 엔진.
- 과학 계산 및 시뮬레이션용 GPU
HBM 메모리를 갖춘 데이터센터 GPU에서의 시뮬레이션과 HPC 코드.