大規模言語モデルの学習向け GPU
モデルをゼロから学習したり、すべての重みをフルファインチューニングしたりするには、実行時よりはるかに多くのメモリが必要です。重み、勾配、オプティマイザの状態がすべて GPU 上に置かれるためです。HBM メモリ、高速なテンソルコア、GPU 間インターコネクトを備えたデータセンター GPU が現実的な選択肢です。
LLM の学習 に適した GPU
横にスワイプするとすべての列を表示できます。
| GPU | メモリ | メモリの種類 | 帯域幅 | BF16 テンソル | フル学習、1 GPU | フル学習、8 GPU | 料金/時 |
|---|---|---|---|---|---|---|---|
| B300Blackwell Ultra | 288 GB | HBM3e | 非公開 | 非公開 | ≈ 10B | ≈ 110B | $8.99〜 |
| B200Blackwell | 180 GB | HBM3e | 非公開 | 非公開 | ≈ 9B | ≈ 70B | $7.99〜 |
| MI325XCDNA 3 | 256 GB | HBM3e | 6,000 GB/s | 1,307 TFLOPS | ≈ 10B | ≈ 100B | $4.82〜 |
| MI300XCDNA 3 | 192 GB | HBM3 | 5,300 GB/s | 1,307 TFLOPS | ≈ 9B | ≈ 75B | $4.16〜 |
| H200Hopper | 141 GB | HBM3e | 4,800 GB/s | 989 TFLOPS | ≈ 7B | ≈ 55B | $4.19〜 |
| H100 NVLHopper | 94 GB | HBM3 | 3,900 GB/s | 835 TFLOPS | ≈ 4B | ≈ 35B | $3.19〜 |
| H100 SXMHopper | 80 GB | HBM3 | 3,350 GB/s | 989 TFLOPS | ≈ 4B | ≈ 30B | $2.88〜 |
| A100 SXMAmpere | 80 GB | HBM2e | 2,039 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | $1.79〜 |
| A100 PCIeAmpere | 80 GB | HBM2e | 1,935 GB/s | 312 TFLOPS | ≈ 4B | ≈ 30B | $1.79〜 |
メーカー仕様、GPU 1 基あたり。テンソル性能はスパース性なしの値。モデルサイズはメモリの 80% を前提とした慎重な目安で、単位は十億（B）パラメータです。コンテキスト長、バッチサイズ、フレームワークにより実際の上限は変わります。価格は GPU 1 基・1 時間あたりの最安ライブオファー（税抜き）です。
すべての GPU モデルLLM の学習 で重要なポイント
メモリがモデルサイズを決める
Adam オプティマイザを使った混合精度学習では、アクティベーションを除いてパラメータあたり約 16 バイトが必要です。そのため 80 GB の GPU 1 基で学習できるのは数十億パラメータ程度のモデルで、より大きなモデルはシャーディングによるデータ並列（FSDP、ZeRO）やテンソル並列で 8 基以上の GPU に分割します。
テンソル性能と精度
学習は主に BF16 で行われ、新しい GPU は FP8 にも対応します。秒あたりのトークン数に直結するのは密なテンソル性能です。BF16 の列を比較し、スパース性ありで公表されている値は密な値の 2 倍である点に注意してください。
マルチ GPU ジョブのインターコネクト
モデルを複数の GPU に分割すると、各ステップで勾配を交換します。NVLink 搭載の SXM ボードや AMD Infinity Fabric はこの交換を高速に保ちます。PCIe カードは、小規模なジョブや各 GPU がモデル全体を保持するデータ並列に適しています。
LLM の学習 向け GPU を比較
大規模言語モデルの学習向け GPU：よくある質問
LLM の学習にはどれくらいの GPU メモリが必要ですか？
慎重な目安として、混合精度では重み、勾配、Adam の状態でパラメータあたり約 16 バイトに加え、アクティベーション分が必要です。70 億パラメータのモデルには合計 100 GB 以上が必要なため、80 GB の GPU を複数使うか、シャーディングとアクティベーションチェックポイントでより少ない GPU で学習します。
学習には H100 と A100 のどちらがよいですか？
どちらも 80 GB のメモリを搭載しています。H100 SXM は A100 SXM の約 3 倍の密な BF16 テンソル性能を公表し、FP8 に対応、メモリ帯域幅も高くなっています。演算に制約されないジョブには A100 も引き続き妥当な選択です。
GeForce カードで学習できますか？
小規模なモデルや実験であれば可能です。大規模な実行では、1 枚あたり 24〜32 GB のメモリと高速な GPU 間インターコネクトがないことが拡張の妨げになります。そのため、このページではデータセンター GPU を先に掲載しています。
EverXCloud で LLM の学習 向けの GPU をレンタルするには？
アカウントを作成し、ユーロ、米ドル、英ポンドでプリペイド残高をチャージしてから、スポット取引所で最良オファーの GPU 時間を購入するか、支払ってもよい価格でリクエストを出します。レンタルは時間単位で課金されます。料金は税抜きで表示され、EverXCloud がすべてのレンタルの販売事業者です。
ローンチ日に備える
今すぐアカウントを作成：マーケットが開いたらすぐに残高をチャージし、用途に合った GPU をレンタルできます。
GPU サーバーをお持ちですか？
法人は EverXCloud Network に参加し、GPU サーバーの時間をスポット取引所で販売できます。
その他の用途
- オープンモデルのファインチューニング向け GPU
24 GB 以上の GPU 1 基で LoRA・QLoRA アダプターを学習。
- LLM 推論向け GPU
オープンモデルの提供：メモリに収まるモデルとトークン生成速度。
- 画像・動画生成向け GPU
画像・動画の拡散モデル。24 GB のカードから 80 GB の GPU まで。
- 3D レンダリングと VFX 向け GPU
レイトレーシングレンダリング、VFX、リアルタイムエンジン。
- 科学技術計算とシミュレーション向け GPU
HBM メモリを備えたデータセンター GPU でのシミュレーションと HPC コード。