オープンモデルのファインチューニング向け GPU
パラメータ効率の高いファインチューニングでは、凍結したベースモデルの上に小さなアダプターを学習させます。必要なメモリが大幅に減るため、多くの場合 GPU 1 基で足ります。ベースモデルが LoRA なら 16 ビット、QLoRA なら 4 ビットで収まり、アクティベーション用の余裕が残れば十分です。
ファインチューニング に適した GPU
横にスワイプするとすべての列を表示できます。
| GPU | メモリ | 帯域幅 | QLoRA、ベースモデル | LoRA 16 ビット、ベースモデル | 料金/時 |
|---|---|---|---|---|---|
| RTX 4090Ada Lovelace | 24 GB | 1,008 GB/s | ≈ 15B | ≈ 7B | $0.33〜 |
| RTX 5090Blackwell | 32 GB | 1,792 GB/s | ≈ 25B | ≈ 10B | $0.69〜 |
| RTX A6000Ampere | 48 GB | 768 GB/s | ≈ 35B | ≈ 15B | $0.33〜 |
| L40SAda Lovelace | 48 GB | 864 GB/s | ≈ 35B | ≈ 15B | $0.79〜 |
| RTX 6000 AdaAda Lovelace | 48 GB | 960 GB/s | ≈ 35B | ≈ 15B | $0.74〜 |
| A100 SXMAmpere | 80 GB | 2,039 GB/s | ≈ 60B | ≈ 25B | $1.79〜 |
| H100 SXMHopper | 80 GB | 3,350 GB/s | ≈ 60B | ≈ 25B | $2.88〜 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1,792 GB/s | ≈ 75B | ≈ 30B | $1.69〜 |
| H200Hopper | 141 GB | 4,800 GB/s | ≈ 110B | ≈ 45B | $4.19〜 |
メーカー仕様、GPU 1 基あたり。テンソル性能はスパース性なしの値。モデルサイズはメモリの 80% を前提とした慎重な目安で、単位は十億（B）パラメータです。コンテキスト長、バッチサイズ、フレームワークにより実際の上限は変わります。価格は GPU 1 基・1 時間あたりの最安ライブオファー（税抜き）です。
すべての GPU モデルファインチューニング で重要なポイント
LoRA か QLoRA か
LoRA はベースモデルを 16 ビットのまま保持し、低ランクアダプターを学習します。凍結された重みはパラメータあたり約 2 バイトです。QLoRA はベースモデルを 4 ビットに量子化し、パラメータあたり 1 バイトを大きく下回りますが、ステップは遅くなります。表では、余裕を持たせたうえでそれぞれ最大のベースモデルを目安として示しています。
シーケンス長とバッチサイズ
アクティベーションはシーケンス長とバッチサイズに応じて増えます。長いコンテキストのファインチューニングでは、目安以上の余裕が必要です。勾配チェックポイントや小さなマイクロバッチで、速度と引き換えにメモリを節約できます。
まずは GPU 1 基から
24 GB または 32 GB のカードがあれば、多くの 7B〜14B パラメータモデルを QLoRA でファインチューニングできます。大きなモデルを 16 ビット LoRA で扱うなら 48 GB や 80 GB の GPU、フルファインチューニングなら複数の GPU に移行します。
ファインチューニング 向け GPU を比較
オープンモデルのファインチューニング向け GPU：よくある質問
7B モデルのファインチューニングにはどの GPU が必要ですか？
QLoRA なら、RTX 4090 のような 24 GB の GPU で、適度なシーケンス長の 7B〜8B パラメータモデルには通常十分です。16 ビット LoRA なら、48 GB の GPU で余裕を持って扱えます。
QLoRA は LoRA より遅いですか？
通常はそうです。4 ビットの重みは各ステップで逆量子化されます。QLoRA は速度を多少犠牲にする代わりにメモリ使用量を大きく減らし、より安価な GPU や大きなベースモデルを使えるようにします。
フルファインチューニングが必要になるのはどんなときですか？
アダプターでは目的の変化が得られない場合、すべての重みを学習することになり、必要なメモリは学習時と同じくパラメータあたり約 16 バイトに戻ります。条件に合う GPU は LLM の学習のページをご覧ください。
EverXCloud で ファインチューニング 向けの GPU をレンタルするには？
アカウントを作成し、ユーロ、米ドル、英ポンドでプリペイド残高をチャージしてから、スポット取引所で最良オファーの GPU 時間を購入するか、支払ってもよい価格でリクエストを出します。レンタルは時間単位で課金されます。料金は税抜きで表示され、EverXCloud がすべてのレンタルの販売事業者です。
ローンチ日に備える
今すぐアカウントを作成：マーケットが開いたらすぐに残高をチャージし、用途に合った GPU をレンタルできます。
GPU サーバーをお持ちですか？
法人は EverXCloud Network に参加し、GPU サーバーの時間をスポット取引所で販売できます。
その他の用途
- 大規模言語モデルの学習向け GPU
HBM メモリを備えたデータセンター GPU での事前学習とフルファインチューニング。
- LLM 推論向け GPU
オープンモデルの提供：メモリに収まるモデルとトークン生成速度。
- 画像・動画生成向け GPU
画像・動画の拡散モデル。24 GB のカードから 80 GB の GPU まで。
- 3D レンダリングと VFX 向け GPU
レイトレーシングレンダリング、VFX、リアルタイムエンジン。
- 科学技術計算とシミュレーション向け GPU
HBM メモリを備えたデータセンター GPU でのシミュレーションと HPC コード。