GPU untuk inferensi LLM
Menyajikan model bahasa memiliki dua batasan: bobot dan KV cache harus muat di memori GPU, dan setiap token yang dihasilkan membaca ulang bobot dari memori. Ukuran memori menentukan model mana yang dapat Anda sajikan; bandwidth memori sebagian besar menentukan seberapa cepat model menjawab.
GPU yang cocok untuk inferensi LLM
Geser ke samping untuk melihat semua kolom.
| GPU | Memori | Bandwidth | Tensor FP8 | Inferensi, 16-bit | Inferensi, 4-bit | Harga/jam |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | mulai US$0,44 |
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | Tidak dipublikasikan | ≈ 9B | ≈ 30B | mulai US$0,33 |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | Tidak dipublikasikan | ≈ 10B | ≈ 40B | mulai US$0,69 |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | mulai US$0,79 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | Tidak dipublikasikan | ≈ 35B | ≈ 120B | mulai US$1,69 |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | Tidak dipublikasikan | ≈ 30B | ≈ 100B | mulai US$1,79 |
| H100 SXMHopper | 80 GB | 3.350 GB/s | 1.979 TFLOPS | ≈ 30B | ≈ 100B | mulai US$2,88 |
| H200Hopper | 141 GB | 4.800 GB/s | 1.979 TFLOPS | ≈ 55B | ≈ 180B | mulai US$4,19 |
| MI300XCDNA 3 | 192 GB | 5.300 GB/s | 2.614 TFLOPS | ≈ 75B | ≈ 250B | mulai US$4,16 |
Spesifikasi pabrikan, per GPU; throughput tensor tanpa sparsity. Ukuran model adalah perkiraan hati-hati dalam miliar parameter, dengan menghitung 80% memori; panjang konteks, ukuran batch, dan framework mengubah batas sebenarnya. Harga adalah penawaran langsung terbaik untuk satu GPU per jam, belum termasuk pajak.
Semua model GPUYang penting untuk inferensi LLM
Muatkan model, lalu cache
Model memerlukan sekitar 2 byte per parameter dalam 16-bit dan sekitar setengah byte dalam kuantisasi 4-bit. KV cache bertambah seiring panjang konteks dan jumlah permintaan bersamaan, karena itu perkiraan menyisakan 20% memori.
Bandwidth menentukan token per detik
Pada ukuran batch kecil, pembuatan token dibatasi oleh bandwidth memori, bukan komputasi: GPU dengan bandwidth dua kali lipat menghasilkan token kira-kira dua kali lebih cepat pada model yang sama. Untuk beban kerja chat dan agen, bandingkan kolom bandwidth terlebih dahulu.
Throughput dan FP8
Untuk job batch dan konkurensi tinggi, throughput tensor lebih penting. GPU Hopper, Ada Lovelace, dan yang lebih baru mendukung FP8, yang memangkas memori bobot menjadi setengah dibanding 16-bit dan mempercepat mesin penyajian yang mendukungnya.
Bandingkan GPU untuk inferensi LLM
GPU untuk inferensi LLM: pertanyaan yang sering diajukan
GPU apa yang dibutuhkan untuk menjalankan model 70B?
Dalam kuantisasi 4-bit, model 70 miliar parameter membutuhkan sekitar 40 GB hanya untuk bobot: satu GPU 48 GB terlalu pas, GPU 80 GB menyisakan ruang untuk cache. Dalam 16-bit dibutuhkan sekitar 140 GB untuk bobot, jadi setidaknya dua GPU 80 GB.
Apakah RTX 4090 bagus untuk inferensi?
Untuk model hingga sekitar 30 miliar parameter dalam 4-bit, ya: memorinya 24 GB dan bandwidth-nya sekitar 1 TB/s. Model yang lebih besar dan konteks panjang memerlukan lebih banyak memori per GPU.
Haruskah saya mengkuantisasi model saya?
Kuantisasi ke 8-bit atau 4-bit memungkinkan model yang lebih besar muat dan biasanya mempercepat pembuatan, dengan sedikit penurunan kualitas yang bergantung pada model dan metodenya. Uji kualitasnya dengan prompt Anda sendiri sebelum menyajikan.
Bagaimana cara menyewa GPU untuk inferensi LLM di EverXCloud?
Buat akun, isi saldo prabayar dalam euro, dolar AS, atau pound, lalu beli jam GPU di bursa spot dengan penawaran terbaik, atau pasang permintaan dengan harga yang bersedia Anda bayar. Penyewaan ditagih per jam. Harga ditampilkan belum termasuk pajak dan EverXCloud adalah merchant of record untuk setiap penyewaan.
Siap di hari peluncuran
Buat akun Anda sekarang: Anda dapat mengisi saldo dan menyewa GPU yang sesuai dengan beban kerja Anda begitu pasar dibuka.
Punya server GPU?
Bisnis dapat bergabung dengan EverXCloud Network dan menjual jam server GPU mereka di bursa spot.
Beban kerja lain
- GPU untuk melatih model bahasa besar
Pra-pelatihan dan fine-tuning penuh di GPU pusat data dengan memori HBM.
- GPU untuk fine-tuning model terbuka
Adapter LoRA dan QLoRA pada satu GPU, mulai dari 24 GB.
- GPU untuk pembuatan gambar dan video
Model difusi untuk gambar dan video, dari kartu 24 GB hingga GPU 80 GB.
- GPU untuk rendering 3D dan efek visual
Rendering ray tracing, efek visual, dan mesin real-time.
- GPU untuk komputasi ilmiah dan simulasi
Simulasi dan kode HPC di GPU pusat data dengan memori HBM.