파인튜닝에 맞는 GPU
옆으로 밀어 모든 열을 확인하세요.
| GPU | 메모리 | 대역폭 | QLoRA, 베이스 모델 | LoRA 16비트, 베이스 모델 | 가격/시간 |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24GB | 1,008GB/s | ≈ 15B | ≈ 7B | US$0.33부터 |
| RTX 5090Blackwell | 32GB | 1,792GB/s | ≈ 25B | ≈ 10B | US$0.69부터 |
| RTX A6000Ampere | 48GB | 768GB/s | ≈ 35B | ≈ 15B | US$0.33부터 |
| L40SAda Lovelace | 48GB | 864GB/s | ≈ 35B | ≈ 15B | US$0.79부터 |
| RTX 6000 AdaAda Lovelace | 48GB | 960GB/s | ≈ 35B | ≈ 15B | US$0.74부터 |
| A100 SXMAmpere | 80GB | 2,039GB/s | ≈ 60B | ≈ 25B | US$1.79부터 |
| H100 SXMHopper | 80GB | 3,350GB/s | ≈ 60B | ≈ 25B | US$2.88부터 |
| RTX PRO 6000 BlackwellBlackwell | 96GB | 1,792GB/s | ≈ 75B | ≈ 30B | US$1.69부터 |
| H200Hopper | 141GB | 4,800GB/s | ≈ 110B | ≈ 45B | US$4.19부터 |
제조사 사양, GPU당 기준이며 텐서 성능은 희소성 미적용 값입니다. 모델 크기는 메모리의 80%를 기준으로 한 보수적인 추정치이며 단위는 십억(B) 파라미터입니다. 컨텍스트 길이, 배치 크기, 프레임워크에 따라 실제 한도는 달라집니다. 가격은 GPU 1개 시간당 최저 실시간 오퍼(세금 별도)입니다.
모든 GPU 모델파인튜닝에서 중요한 것
LoRA 또는 QLoRA
LoRA는 베이스 모델을 16비트로 유지하고 저랭크 어댑터를 학습합니다. 고정된 가중치는 파라미터당 약 2바이트입니다. QLoRA는 베이스 모델을 4비트로 양자화해 파라미터당 1바이트를 크게 밑돌지만 스텝이 느려집니다. 표에서는 여유를 두고 각각에 들어가는 최대 베이스 모델을 추정합니다.
시퀀스 길이와 배치 크기
활성화는 시퀀스 길이와 배치 크기에 따라 커집니다. 긴 컨텍스트 파인튜닝에는 추정치보다 더 많은 여유가 필요합니다. 그래디언트 체크포인팅과 작은 마이크로 배치로 속도를 희생하는 대신 메모리를 아낄 수 있습니다.
먼저 GPU 1개로
24GB 또는 32GB 카드면 많은 7B~14B 파라미터 모델을 QLoRA로 파인튜닝할 수 있습니다. 더 큰 모델의 16비트 LoRA에는 48GB나 80GB GPU로, 전체 파인튜닝에는 여러 GPU로 넘어가세요.
파인튜닝용 GPU 비교
오픈 모델 파인튜닝용 GPU: 자주 묻는 질문
7B 모델을 파인튜닝하려면 어떤 GPU가 필요한가요?
QLoRA라면 RTX 4090 같은 24GB GPU로 적당한 시퀀스 길이의 7B~8B 파라미터 모델에 보통 충분합니다. 16비트 LoRA라면 48GB GPU가 넉넉한 여유를 줍니다.
QLoRA는 LoRA보다 느린가요?
대개 그렇습니다. 4비트 가중치를 매 스텝마다 역양자화하기 때문입니다. QLoRA는 속도를 일부 희생하는 대신 메모리 사용량을 크게 줄여, 더 저렴한 GPU나 더 큰 베이스 모델을 쓸 수 있게 해 줍니다.
전체 파인튜닝이 필요한 경우는 언제인가요?
어댑터로 원하는 변화를 얻을 수 없을 때는 모든 가중치를 학습하므로 필요한 메모리가 학습 때와 같은 파라미터당 약 16바이트로 돌아갑니다. 맞는 GPU는 LLM 학습 페이지를 참조하세요.
EverXCloud에서 파인튜닝용 GPU를 대여하려면?
계정을 만들고 유로, 미국 달러 또는 파운드로 선불 잔액을 충전한 다음, 스팟 거래소에서 최우선 오퍼로 GPU 시간을 구매하거나 원하는 가격으로 요청을 등록하세요. 대여는 시간 단위로 청구됩니다. 가격은 세금 별도로 표시되며 EverXCloud가 모든 대여의 판매 주체입니다.
출시일에 바로 시작하세요
지금 계정을 만드세요. 마켓이 열리는 즉시 잔액을 충전하고 작업에 맞는 GPU를 대여할 수 있습니다.
GPU 서버를 보유하고 계신가요?
기업은 EverXCloud Network에 참여해 GPU 서버의 시간을 스팟 거래소에서 판매할 수 있습니다.
다른 작업
- 대규모 언어 모델 학습용 GPU
HBM 메모리를 갖춘 데이터센터 GPU에서의 사전 학습과 전체 파인튜닝.
- LLM 추론용 GPU
오픈 모델 서빙: 메모리에 들어가는 모델과 토큰 생성 속도.
- 이미지 및 영상 생성용 GPU
이미지와 영상용 확산 모델, 24GB 카드부터 80GB GPU까지.
- 3D 렌더링 및 시각 효과용 GPU
레이 트레이싱 렌더링, 시각 효과, 실시간 엔진.
- 과학 계산 및 시뮬레이션용 GPU
HBM 메모리를 갖춘 데이터센터 GPU에서의 시뮬레이션과 HPC 코드.