GPU untuk melatih model bahasa besar
Melatih model dari awal, atau melakukan fine-tuning penuh pada setiap bobot, memerlukan jauh lebih banyak memori daripada menjalankannya: bobot, gradien, dan state optimizer semuanya berada di GPU. GPU pusat data dengan memori HBM, tensor core cepat, dan interkoneksi antar-GPU adalah pilihan yang praktis.
GPU yang cocok untuk pelatihan LLM
Geser ke samping untuk melihat semua kolom.
| GPU | Memori | Jenis memori | Bandwidth | Tensor BF16 | Pelatihan penuh, 1 GPU | Pelatihan penuh, 8 GPU | Harga/jam |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | Tidak dipublikasikan | Tidak dipublikasikan | ≈ 10B | ≈ 110B | mulai US$8,99 |
| B200Blackwell | 180 GB | HBM3e | Tidak dipublikasikan | Tidak dipublikasikan | ≈ 9B | ≈ 70B | mulai US$7,99 |
| MI325XCDNA 3 | 256 GB | HBM3e | 6.000 GB/s | 1.307 TFLOPS | ≈ 10B | ≈ 100B | mulai US$4,82 |
| MI300XCDNA 3 | 192 GB | HBM3 | 5.300 GB/s | 1.307 TFLOPS | ≈ 9B | ≈ 75B | mulai US$4,16 |
| H200Hopper | 141 GB | HBM3e | 4.800 GB/s | 989 TFLOPS | ≈ 7B | ≈ 55B | mulai US$4,19 |
| H100 NVLHopper | 94 GB | HBM3 | 3.900 GB/s | 835 TFLOPS | ≈ 4B | ≈ 35B | mulai US$3,19 |
| H100 SXMHopper | 80 GB | HBM3 | 3.350 GB/s | 989 TFLOPS | ≈ 4B | ≈ 30B | mulai US$2,88 |
| A100 SXMAmpere | 80 GB | HBM2e | 2.039 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | mulai US$1,79 |
| A100 PCIeAmpere | 80 GB | HBM2e | 1.935 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | mulai US$1,79 |
Spesifikasi pabrikan, per GPU; throughput tensor tanpa sparsity. Ukuran model adalah perkiraan hati-hati dalam miliar parameter, dengan menghitung 80% memori; panjang konteks, ukuran batch, dan framework mengubah batas sebenarnya. Harga adalah penawaran langsung terbaik untuk satu GPU per jam, belum termasuk pajak.
Semua model GPUYang penting untuk pelatihan LLM
Memori menentukan ukuran model
Pelatihan presisi campuran dengan optimizer Adam memerlukan sekitar 16 byte per parameter sebelum aktivasi. Karena itu satu GPU 80 GB dapat melatih model berukuran beberapa miliar parameter; model yang lebih besar dibagi ke 8 GPU atau lebih dengan paralelisme data ter-shard (FSDP, ZeRO) atau paralelisme tensor.
Throughput tensor dan presisi
Pelatihan sebagian besar berjalan dalam BF16, dan GPU yang lebih baru menambahkan FP8. Throughput tensor dense-lah yang menghasilkan token per detik: bandingkan kolom BF16, dan ingat bahwa angka yang dipublikasikan dengan sparsity adalah dua kali nilai dense.
Interkoneksi untuk job multi-GPU
Setelah model dibagi ke beberapa GPU, GPU-GPU tersebut bertukar gradien di setiap langkah. Board SXM dengan NVLink, atau AMD Infinity Fabric, menjaga pertukaran itu tetap cepat; kartu PCIe cocok untuk job yang lebih kecil dan paralelisme data di mana setiap GPU menyimpan salinan lengkap model.
Bandingkan GPU untuk pelatihan LLM
GPU untuk melatih model bahasa besar: pertanyaan yang sering diajukan
Berapa memori GPU yang dibutuhkan untuk melatih LLM?
Sebagai aturan hati-hati, sekitar 16 byte per parameter untuk bobot, gradien, dan state Adam dalam presisi campuran, ditambah aktivasi. Model 7 miliar parameter membutuhkan total lebih dari 100 GB, sehingga dilatih di beberapa GPU 80 GB, atau di lebih sedikit GPU dengan sharding dan activation checkpointing.
H100 atau A100 untuk pelatihan?
Keduanya memiliki memori 80 GB. H100 SXM memublikasikan sekitar tiga kali throughput tensor BF16 dense A100 SXM dan menambahkan FP8, dengan bandwidth memori yang lebih tinggi; A100 tetap pilihan yang baik untuk job yang tidak dibatasi oleh komputasi.
Bisakah saya melatih di kartu GeForce?
Untuk model kecil dan eksperimen, bisa. Untuk pelatihan yang lebih besar, memori 24 hingga 32 GB per kartu dan tidak adanya interkoneksi antar-GPU yang cepat membatasi skala job; karena itulah GPU pusat data dicantumkan lebih dulu di halaman ini.
Bagaimana cara menyewa GPU untuk pelatihan LLM di EverXCloud?
Buat akun, isi saldo prabayar dalam euro, dolar AS, atau pound, lalu beli jam GPU di bursa spot dengan penawaran terbaik, atau pasang permintaan dengan harga yang bersedia Anda bayar. Penyewaan ditagih per jam. Harga ditampilkan belum termasuk pajak dan EverXCloud adalah merchant of record untuk setiap penyewaan.
Siap di hari peluncuran
Buat akun Anda sekarang: Anda dapat mengisi saldo dan menyewa GPU yang sesuai dengan beban kerja Anda begitu pasar dibuka.
Punya server GPU?
Bisnis dapat bergabung dengan EverXCloud Network dan menjual jam server GPU mereka di bursa spot.
Beban kerja lain
- GPU untuk fine-tuning model terbuka
Adapter LoRA dan QLoRA pada satu GPU, mulai dari 24 GB.
- GPU untuk inferensi LLM
Sajikan model terbuka: apa yang muat di memori, dan seberapa cepat token dihasilkan.
- GPU untuk pembuatan gambar dan video
Model difusi untuk gambar dan video, dari kartu 24 GB hingga GPU 80 GB.
- GPU untuk rendering 3D dan efek visual
Rendering ray tracing, efek visual, dan mesin real-time.
- GPU untuk komputasi ilmiah dan simulasi
Simulasi dan kode HPC di GPU pusat data dengan memori HBM.