GPU untuk fine-tuning model terbuka
Fine-tuning hemat parameter melatih adapter kecil di atas model dasar yang dibekukan. Kebutuhan memori turun drastis, sehingga satu GPU sering kali cukup: model dasar hanya perlu muat, dalam 16-bit dengan LoRA atau 4-bit dengan QLoRA, dengan ruang tersisa untuk aktivasi.
GPU yang cocok untuk fine-tuning
Geser ke samping untuk melihat semua kolom.
| GPU | Memori | Bandwidth | QLoRA, model dasar | LoRA 16-bit, model dasar | Harga/jam |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1.008 GB/s | ≈ 15B | ≈ 7B | mulai US$0,33 |
| RTX 5090Blackwell | 32 GB | 1.792 GB/s | ≈ 25B | ≈ 10B | mulai US$0,69 |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35B | ≈ 15B | mulai US$0,33 |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35B | ≈ 15B | mulai US$0,79 |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35B | ≈ 15B | mulai US$0,74 |
| A100 SXMAmpere | 80 GB | 2.039 GB/s | ≈ 60B | ≈ 25B | mulai US$1,79 |
| H100 SXMHopper | 80 GB | 3.350 GB/s | ≈ 60B | ≈ 25B | mulai US$2,88 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1.792 GB/s | ≈ 75B | ≈ 30B | mulai US$1,69 |
| H200Hopper | 141 GB | 4.800 GB/s | ≈ 110B | ≈ 45B | mulai US$4,19 |
Spesifikasi pabrikan, per GPU; throughput tensor tanpa sparsity. Ukuran model adalah perkiraan hati-hati dalam miliar parameter, dengan menghitung 80% memori; panjang konteks, ukuran batch, dan framework mengubah batas sebenarnya. Harga adalah penawaran langsung terbaik untuk satu GPU per jam, belum termasuk pajak.
Semua model GPUYang penting untuk fine-tuning
LoRA atau QLoRA
LoRA menyimpan model dasar dalam 16-bit dan melatih adapter berperingkat rendah: sekitar 2 byte per parameter untuk bobot yang dibekukan. QLoRA mengkuantisasi model dasar ke 4-bit, menekannya jauh di bawah 1 byte per parameter, dengan konsekuensi langkah yang lebih lambat. Tabel memperkirakan model dasar terbesar untuk masing-masing, dengan ruang cadangan.
Panjang sekuens dan ukuran batch
Aktivasi bertambah seiring panjang sekuens dan ukuran batch. Fine-tuning konteks panjang memerlukan ruang lebih besar daripada yang diasumsikan perkiraan; gradient checkpointing dan micro-batch yang lebih kecil menukar kecepatan dengan memori.
Mulai dengan satu GPU
Kartu 24 GB atau 32 GB cukup untuk fine-tuning QLoRA banyak model 7 hingga 14 miliar parameter. Beralihlah ke GPU 48 GB atau 80 GB untuk LoRA 16-bit pada model yang lebih besar, atau ke beberapa GPU untuk fine-tuning penuh.
Bandingkan GPU untuk fine-tuning
GPU untuk fine-tuning model terbuka: pertanyaan yang sering diajukan
GPU apa yang dibutuhkan untuk fine-tuning model 7B?
Dengan QLoRA, GPU 24 GB seperti RTX 4090 biasanya cukup untuk model 7 atau 8 miliar parameter pada panjang sekuens moderat. Dengan LoRA 16-bit, GPU 48 GB memberi ruang yang lega.
Apakah QLoRA lebih lambat dari LoRA?
Biasanya ya: bobot 4-bit didekuantisasi di setiap langkah. QLoRA mengorbankan sedikit kecepatan demi jejak memori yang jauh lebih kecil, sehingga GPU yang lebih murah atau model dasar yang lebih besar bisa digunakan.
Kapan saya membutuhkan fine-tuning penuh?
Jika adapter tidak cukup untuk perubahan yang Anda inginkan, setiap bobot dilatih dan kebutuhan memori kembali seperti saat pelatihan, sekitar 16 byte per parameter. Lihat halaman pelatihan LLM untuk GPU yang cocok.
Bagaimana cara menyewa GPU untuk fine-tuning di EverXCloud?
Buat akun, isi saldo prabayar dalam euro, dolar AS, atau pound, lalu beli jam GPU di bursa spot dengan penawaran terbaik, atau pasang permintaan dengan harga yang bersedia Anda bayar. Penyewaan ditagih per jam. Harga ditampilkan belum termasuk pajak dan EverXCloud adalah merchant of record untuk setiap penyewaan.
Siap di hari peluncuran
Buat akun Anda sekarang: Anda dapat mengisi saldo dan menyewa GPU yang sesuai dengan beban kerja Anda begitu pasar dibuka.
Punya server GPU?
Bisnis dapat bergabung dengan EverXCloud Network dan menjual jam server GPU mereka di bursa spot.
Beban kerja lain
- GPU untuk melatih model bahasa besar
Pra-pelatihan dan fine-tuning penuh di GPU pusat data dengan memori HBM.
- GPU untuk inferensi LLM
Sajikan model terbuka: apa yang muat di memori, dan seberapa cepat token dihasilkan.
- GPU untuk pembuatan gambar dan video
Model difusi untuk gambar dan video, dari kartu 24 GB hingga GPU 80 GB.
- GPU untuk rendering 3D dan efek visual
Rendering ray tracing, efek visual, dan mesin real-time.
- GPU untuk komputasi ilmiah dan simulasi
Simulasi dan kode HPC di GPU pusat data dengan memori HBM.