Açık modellerin ince ayarı için GPU’lar
Parametre verimli ince ayar, dondurulmuş bir temel modelin üzerine küçük adaptörler eğitir. Bellek ihtiyacı belirgin şekilde düşer; bu yüzden çoğu zaman tek bir GPU yeterlidir: temel modelin LoRA ile 16 bitte veya QLoRA ile 4 bitte sığması ve aktivasyonlar için yer kalması yeterlidir.
ince ayar için uygun GPU’lar
Tüm sütunları görmek için yana kaydırın.
| GPU | Bellek | Bant genişliği | QLoRA, temel model | LoRA 16 bit, temel model | Fiyat/sa |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | ≈ 15B | ≈ 7B | $0,33’den başlayan |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | ≈ 25B | ≈ 10B | $0,69’den başlayan |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35B | ≈ 15B | $0,33’den başlayan |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35B | ≈ 15B | $0,79’den başlayan |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35B | ≈ 15B | $0,74’den başlayan |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | ≈ 60B | ≈ 25B | $1,79’den başlayan |
| H100 SXMHopper | 80 GB | 3.350 GB/s | ≈ 60B | ≈ 25B | $2,88’den başlayan |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | ≈ 75B | ≈ 30B | $1,69’den başlayan |
| H200Hopper | 141 GB | 4.800 GB/s | ≈ 110B | ≈ 45B | $4,19’den başlayan |
Üretici özellikleri, GPU başına; tensör performansı seyreklik olmadan. Model boyutları, belleğin %80’i esas alınarak milyar parametre cinsinden yapılmış temkinli tahminlerdir; bağlam uzunluğu, batch boyutu ve framework gerçek sınırı değiştirir. Fiyatlar tek GPU için saatlik en iyi canlı tekliftir, vergiler hariç.
Tüm GPU modelleriince ayar için önemli olanlar
LoRA mı, QLoRA mı
LoRA temel modeli 16 bitte tutar ve düşük kerteli adaptörler eğitir: dondurulmuş ağırlıklar için parametre başına yaklaşık 2 bayt. QLoRA temel modeli 4 bite nicemler ve parametre başına 1 baytın oldukça altına iner, ancak adımlar yavaşlar. Tablo, her biri için pay bırakarak en büyük temel modeli tahmin eder.
Dizi uzunluğu ve batch boyutu
Aktivasyonlar dizi uzunluğu ve batch boyutuyla büyür. Uzun bağlamlı ince ayar, tahminlerin varsaydığından daha fazla pay gerektirir; gradyan checkpoint’leme ve daha küçük mikro batch’ler hızdan feragat ederek bellek kazandırır.
Önce tek GPU
24 GB veya 32 GB’lık bir kart, 7 ila 14 milyar parametreli birçok modelin QLoRA ile ince ayarı için yeterlidir. Daha büyük modellerde 16 bit LoRA için 48 GB veya 80 GB GPU’lara, tam ince ayar için ise birden fazla GPU’ya geçin.
ince ayar için GPU’ları karşılaştırın
Açık modellerin ince ayarı için GPU’lar: sıkça sorulan sorular
7B bir modele ince ayar yapmak için hangi GPU gerekir?
QLoRA ile, RTX 4090 gibi 24 GB’lık bir GPU genellikle orta dizi uzunluklarında 7 veya 8 milyar parametreli bir model için yeterlidir. 16 bit LoRA ile 48 GB’lık bir GPU rahat bir pay bırakır.
QLoRA, LoRA’dan daha mı yavaş?
Genellikle evet: 4 bitlik ağırlıklar her adımda geri nicemlenir. QLoRA biraz hızdan feragat ederek çok daha küçük bir bellek kullanımı sağlar; böylece daha ucuz bir GPU veya daha büyük bir temel model sığar.
Ne zaman tam ince ayar gerekir?
Adaptörler istediğiniz değişiklik için yetmediğinde tüm ağırlıklar eğitilir ve bellek ihtiyacı eğitimdeki düzeye, parametre başına yaklaşık 16 bayta döner. Uygun GPU’lar için LLM eğitimi sayfasına bakın.
EverXCloud’da ince ayar için nasıl GPU kiralarım?
Bir hesap oluşturun, ön ödemeli bakiyenizi euro, ABD doları veya sterlinle yükleyin, ardından spot borsasında en iyi tekliften GPU saati satın alın ya da ödemeye hazır olduğunuz fiyattan bir talep verin. Kiralamalar saatlik faturalandırılır. Fiyatlar vergiler hariç gösterilir ve her kiralamanın satıcısı EverXCloud’dur.
Lansman gününe hazır olun
Hesabınızı şimdi oluşturun: piyasa açılır açılmaz bakiyenizi yükleyip iş yükünüze uygun GPU’yu kiralayabilirsiniz.
GPU sunucularınız mı var?
İşletmeler EverXCloud Network’e katılabilir ve GPU sunucularının saatlerini spot borsasında satabilir.
Diğer iş yükleri
- Büyük dil modellerini eğitmek için GPU’lar
HBM bellekli veri merkezi GPU’larında ön eğitim ve tam ince ayar.
- LLM çıkarımı için GPU’lar
Açık modelleri sunun: belleğe neyin sığdığı ve token’ların ne kadar hızlı geldiği.
- Görüntü ve video üretimi için GPU’lar
Görüntü ve video için difüzyon modelleri; 24 GB kartlardan 80 GB GPU’lara.
- 3D render ve görsel efektler için GPU’lar
Işın izlemeli render, görsel efektler ve gerçek zamanlı motorlar.
- Bilimsel hesaplama ve simülasyon için GPU’lar
HBM bellekli veri merkezi GPU’larında simülasyon ve HPC kodları.