LLM çıkarımı için GPU’lar
Bir dil modelini sunmanın iki sınırı vardır: ağırlıklar ve KV önbelleği GPU belleğine sığmalıdır ve üretilen her token ağırlıkları bellekten yeniden okur. Hangi modelleri sunabileceğinizi bellek boyutu, ne kadar hızlı yanıt verdiklerini ise büyük ölçüde bellek bant genişliği belirler.
LLM çıkarımı için uygun GPU’lar
Tüm sütunları görmek için yana kaydırın.
| GPU | Bellek | Bant genişliği | FP8 tensör | Çıkarım, 16 bit | Çıkarım, 4 bit | Fiyat/sa |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | $0,44’den başlayan |
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | Yayımlanmadı | ≈ 9B | ≈ 30B | $0,33’den başlayan |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | Yayımlanmadı | ≈ 10B | ≈ 40B | $0,69’den başlayan |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | $0,79’den başlayan |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | Yayımlanmadı | ≈ 35B | ≈ 120B | $1,69’den başlayan |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | Yayımlanmadı | ≈ 30B | ≈ 100B | $1,79’den başlayan |
| H100 SXMHopper | 80 GB | 3.350 GB/s | 1.979 TFLOPS | ≈ 30B | ≈ 100B | $2,88’den başlayan |
| H200Hopper | 141 GB | 4.800 GB/s | 1.979 TFLOPS | ≈ 55B | ≈ 180B | $4,19’den başlayan |
| MI300XCDNA 3 | 192 GB | 5.300 GB/s | 2.614 TFLOPS | ≈ 75B | ≈ 250B | $4,16’den başlayan |
Üretici özellikleri, GPU başına; tensör performansı seyreklik olmadan. Model boyutları, belleğin %80’i esas alınarak milyar parametre cinsinden yapılmış temkinli tahminlerdir; bağlam uzunluğu, batch boyutu ve framework gerçek sınırı değiştirir. Fiyatlar tek GPU için saatlik en iyi canlı tekliftir, vergiler hariç.
Tüm GPU modelleriLLM çıkarımı için önemli olanlar
Önce model, sonra önbellek
Bir model 16 bitte parametre başına yaklaşık 2 bayt, 4 bit nicemlemede yaklaşık yarım bayt gerektirir. KV önbelleği bağlam uzunluğu ve eşzamanlı istek sayısıyla büyür; bu yüzden tahminler belleğin %20’sini boş bırakır.
Saniye başına token’ı bant genişliği belirler
Küçük batch boyutlarında token üretimi işlem gücüyle değil bellek bant genişliğiyle sınırlıdır: iki kat bant genişliğine sahip bir GPU aynı modelde token’ları kabaca iki kat hızlı üretir. Sohbet ve ajan iş yükleri için önce bant genişliği sütununu karşılaştırın.
Verim ve FP8
Toplu işler ve yüksek eşzamanlılık için tensör performansı daha önemlidir. Hopper, Ada Lovelace ve daha yeni GPU’lar FP8’i destekler; bu, 16 bite göre ağırlık belleğini yarıya indirir ve FP8’i destekleyen sunum motorlarını hızlandırır.
LLM çıkarımı için GPU’ları karşılaştırın
LLM çıkarımı için GPU’lar: sıkça sorulan sorular
70B bir modeli çalıştırmak için hangi GPU gerekir?
4 bit nicemlemede 70 milyar parametreli bir model yalnızca ağırlıklar için yaklaşık 40 GB gerektirir: tek bir 48 GB GPU sınırda kalır, 80 GB’lık bir GPU önbellek için yer bırakır. 16 bitte ağırlıklar için yaklaşık 140 GB gerekir, yani en az iki adet 80 GB GPU.
RTX 4090 çıkarım için iyi mi?
4 bitte yaklaşık 30 milyar parametreye kadar modeller için evet: 24 GB belleği ve yaklaşık 1 TB/s bant genişliği var. Daha büyük modeller ve uzun bağlamlar GPU başına daha fazla bellek gerektirir.
Modelimi nicemlemeli miyim?
8 bit veya 4 bite nicemleme daha büyük bir modelin sığmasını sağlar ve genellikle üretimi hızlandırır; model ve yönteme bağlı küçük bir kalite kaybı olur. Sunmadan önce kaliteyi kendi istemlerinizle test edin.
EverXCloud’da LLM çıkarımı için nasıl GPU kiralarım?
Bir hesap oluşturun, ön ödemeli bakiyenizi euro, ABD doları veya sterlinle yükleyin, ardından spot borsasında en iyi tekliften GPU saati satın alın ya da ödemeye hazır olduğunuz fiyattan bir talep verin. Kiralamalar saatlik faturalandırılır. Fiyatlar vergiler hariç gösterilir ve her kiralamanın satıcısı EverXCloud’dur.
Lansman gününe hazır olun
Hesabınızı şimdi oluşturun: piyasa açılır açılmaz bakiyenizi yükleyip iş yükünüze uygun GPU’yu kiralayabilirsiniz.
GPU sunucularınız mı var?
İşletmeler EverXCloud Network’e katılabilir ve GPU sunucularının saatlerini spot borsasında satabilir.
Diğer iş yükleri
- Büyük dil modellerini eğitmek için GPU’lar
HBM bellekli veri merkezi GPU’larında ön eğitim ve tam ince ayar.
- Açık modellerin ince ayarı için GPU’lar
24 GB’tan başlayan tek bir GPU’da LoRA ve QLoRA adaptörleri.
- Görüntü ve video üretimi için GPU’lar
Görüntü ve video için difüzyon modelleri; 24 GB kartlardan 80 GB GPU’lara.
- 3D render ve görsel efektler için GPU’lar
Işın izlemeli render, görsel efektler ve gerçek zamanlı motorlar.
- Bilimsel hesaplama ve simülasyon için GPU’lar
HBM bellekli veri merkezi GPU’larında simülasyon ve HPC kodları.