Büyük dil modellerini eğitmek için GPU’lar
Bir modeli sıfırdan eğitmek veya tüm ağırlıklara tam ince ayar yapmak, onu çalıştırmaktan çok daha fazla bellek gerektirir: ağırlıklar, gradyanlar ve optimizer durumları GPU’da tutulur. HBM bellekli, hızlı tensör çekirdekli ve GPU’lar arası bağlantıya sahip veri merkezi GPU’ları pratik seçimdir.
LLM eğitimi için uygun GPU’lar
Tüm sütunları görmek için yana kaydırın.
| GPU | Bellek | Bellek türü | Bant genişliği | BF16 tensör | Tam eğitim, 1 GPU | Tam eğitim, 8 GPU | Fiyat/sa |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | Yayımlanmadı | Yayımlanmadı | ≈ 10B | ≈ 110B | $8,99’den başlayan |
| B200Blackwell | 180 GB | HBM3e | Yayımlanmadı | Yayımlanmadı | ≈ 9B | ≈ 70B | $7,99’den başlayan |
| MI325XCDNA 3 | 256 GB | HBM3e | 6.000 GB/s | 1.307 TFLOPS | ≈ 10B | ≈ 100B | $4,82’den başlayan |
| MI300XCDNA 3 | 192 GB | HBM3 | 5.300 GB/s | 1.307 TFLOPS | ≈ 9B | ≈ 75B | $4,16’den başlayan |
| H200Hopper | 141 GB | HBM3e | 4.800 GB/s | 989 TFLOPS | ≈ 7B | ≈ 55B | $4,19’den başlayan |
| H100 NVLHopper | 94 GB | HBM3 | 3.900 GB/s | 835 TFLOPS | ≈ 4B | ≈ 35B | $3,19’den başlayan |
| H100 SXMHopper | 80 GB | HBM3 | 3.350 GB/s | 989 TFLOPS | ≈ 4B | ≈ 30B | $2,88’den başlayan |
| A100 SXMAmpere | 80 GB | HBM2e | 2.039 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | $1,79’den başlayan |
| A100 PCIeAmpere | 80 GB | HBM2e | 1.935 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | $1,79’den başlayan |
Üretici özellikleri, GPU başına; tensör performansı seyreklik olmadan. Model boyutları, belleğin %80’i esas alınarak milyar parametre cinsinden yapılmış temkinli tahminlerdir; bağlam uzunluğu, batch boyutu ve framework gerçek sınırı değiştirir. Fiyatlar tek GPU için saatlik en iyi canlı tekliftir, vergiler hariç.
Tüm GPU modelleriLLM eğitimi için önemli olanlar
Model boyutunu bellek belirler
Adam optimizer ile karma hassasiyette eğitim, aktivasyonlar hariç parametre başına yaklaşık 16 bayt gerektirir. Bu nedenle 80 GB’lık tek bir GPU birkaç milyar parametreli modelleri eğitebilir; daha büyük modeller parçalı veri paralelliği (FSDP, ZeRO) veya tensör paralelliğiyle 8 ya da daha fazla GPU’ya bölünür.
Tensör performansı ve hassasiyet
Eğitim çoğunlukla BF16 ile yapılır, yeni GPU’lar FP8 de ekler. Saniye başına token’a dönüşen şey yoğun tensör performansıdır: BF16 sütununu karşılaştırın ve seyreklikle yayımlanan değerlerin yoğun değerin iki katı olduğunu unutmayın.
Çoklu GPU işleri için bağlantı
Bir model GPU’lara bölündüğünde, GPU’lar her adımda gradyan alışverişi yapar. NVLink’li SXM kartlar veya AMD Infinity Fabric bu alışverişi hızlı tutar; PCIe kartlar daha küçük işlere ve her GPU’nun modelin tam kopyasını tuttuğu veri paralel çalıştırmalara uygundur.
LLM eğitimi için GPU’ları karşılaştırın
Büyük dil modellerini eğitmek için GPU’lar: sıkça sorulan sorular
Bir LLM’i eğitmek için ne kadar GPU belleği gerekir?
Temkinli bir kural olarak, karma hassasiyette ağırlıklar, gradyanlar ve Adam durumları için parametre başına yaklaşık 16 bayt, artı aktivasyonlar. 7 milyar parametreli bir model toplamda 100 GB’tan fazlasını gerektirir; bu yüzden birkaç 80 GB GPU’da ya da parçalama ve aktivasyon checkpoint’leme ile daha az GPU’da eğitilir.
Eğitim için H100 mü, A100 mü?
İkisinde de 80 GB bellek var. H100 SXM, A100 SXM’in yaklaşık üç katı yoğun BF16 tensör performansı yayımlar, FP8 ekler ve daha yüksek bellek bant genişliğine sahiptir; işlem gücüyle sınırlı olmayan işler için A100 hâlâ sağlam bir seçimdir.
GeForce kartlarda eğitim yapabilir miyim?
Küçük modeller ve deneyler için evet. Daha büyük çalıştırmalarda kart başına 24–32 GB bellek ve hızlı GPU’lar arası bağlantının olmaması işin ölçeklenmesini sınırlar; bu nedenle bu sayfada veri merkezi GPU’ları önce listelenir.
EverXCloud’da LLM eğitimi için nasıl GPU kiralarım?
Bir hesap oluşturun, ön ödemeli bakiyenizi euro, ABD doları veya sterlinle yükleyin, ardından spot borsasında en iyi tekliften GPU saati satın alın ya da ödemeye hazır olduğunuz fiyattan bir talep verin. Kiralamalar saatlik faturalandırılır. Fiyatlar vergiler hariç gösterilir ve her kiralamanın satıcısı EverXCloud’dur.
Lansman gününe hazır olun
Hesabınızı şimdi oluşturun: piyasa açılır açılmaz bakiyenizi yükleyip iş yükünüze uygun GPU’yu kiralayabilirsiniz.
GPU sunucularınız mı var?
İşletmeler EverXCloud Network’e katılabilir ve GPU sunucularının saatlerini spot borsasında satabilir.
Diğer iş yükleri
- Açık modellerin ince ayarı için GPU’lar
24 GB’tan başlayan tek bir GPU’da LoRA ve QLoRA adaptörleri.
- LLM çıkarımı için GPU’lar
Açık modelleri sunun: belleğe neyin sığdığı ve token’ların ne kadar hızlı geldiği.
- Görüntü ve video üretimi için GPU’lar
Görüntü ve video için difüzyon modelleri; 24 GB kartlardan 80 GB GPU’lara.
- 3D render ve görsel efektler için GPU’lar
Işın izlemeli render, görsel efektler ve gerçek zamanlı motorlar.
- Bilimsel hesaplama ve simülasyon için GPU’lar
HBM bellekli veri merkezi GPU’larında simülasyon ve HPC kodları.