LLM 推論向け GPU
言語モデルの提供には 2 つの制約があります。重みと KV キャッシュが GPU メモリに収まる必要があり、生成するトークンごとに重みをメモリから読み直します。どのモデルを提供できるかはメモリ容量で決まり、応答速度は主にメモリ帯域幅で決まります。
LLM 推論 に適した GPU
横にスワイプするとすべての列を表示できます。
| GPU | メモリ | 帯域幅 | FP8 テンソル | 推論、16 ビット | 推論、4 ビット | 料金/時 |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | $0.44〜 |
| RTX 4090Ada Lovelace | 24 GB | 1,008 GB/s | 非公開 | ≈ 9B | ≈ 30B | $0.33〜 |
| RTX 5090Blackwell | 32 GB | 1,792 GB/s | 非公開 | ≈ 10B | ≈ 40B | $0.69〜 |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | $0.79〜 |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1,792 GB/s | 非公開 | ≈ 35B | ≈ 120B | $1.69〜 |
| A100 SXMAmpere | 80 GB | 2,039 GB/s | 非公開 | ≈ 30B | ≈ 100B | $1.79〜 |
| H100 SXMHopper | 80 GB | 3,350 GB/s | 1,979 TFLOPS | ≈ 30B | ≈ 100B | $2.88〜 |
| H200Hopper | 141 GB | 4,800 GB/s | 1,979 TFLOPS | ≈ 55B | ≈ 180B | $4.19〜 |
| MI300XCDNA 3 | 192 GB | 5,300 GB/s | 2,614 TFLOPS | ≈ 75B | ≈ 250B | $4.16〜 |
メーカー仕様、GPU 1 基あたり。テンソル性能はスパース性なしの値。モデルサイズはメモリの 80% を前提とした慎重な目安で、単位は十億（B）パラメータです。コンテキスト長、バッチサイズ、フレームワークにより実際の上限は変わります。価格は GPU 1 基・1 時間あたりの最安ライブオファー（税抜き）です。
すべての GPU モデルLLM 推論 で重要なポイント
まずモデル、次にキャッシュを収める
モデルには 16 ビットでパラメータあたり約 2 バイト、4 ビット量子化で約 0.5 バイトが必要です。KV キャッシュはコンテキスト長と同時リクエスト数に応じて増えるため、目安ではメモリの 20% を空けています。
帯域幅が秒あたりのトークン数を決める
バッチサイズが小さい場合、トークン生成は演算ではなくメモリ帯域幅に制約されます。帯域幅が 2 倍の GPU なら、同じモデルでおよそ 2 倍の速さでトークンを生成します。チャットやエージェント用途では、まず帯域幅の列を比較してください。
スループットと FP8
バッチ処理や同時接続が多い場合は、テンソル性能がより重要になります。Hopper、Ada Lovelace 以降の GPU は FP8 に対応し、16 ビットに比べて重みのメモリを半分にし、対応する推論エンジンを高速化します。
LLM 推論 向け GPU を比較
LLM 推論向け GPU：よくある質問
70B モデルを動かすにはどの GPU が必要ですか？
4 ビット量子化では、700 億パラメータのモデルは重みだけで約 40 GB が必要です。48 GB の GPU 1 基では余裕がなく、80 GB の GPU ならキャッシュ用の余裕が残ります。16 ビットでは重みだけで約 140 GB が必要なため、80 GB の GPU が少なくとも 2 基必要です。
RTX 4090 は推論に向いていますか？
4 ビットで約 300 億パラメータまでのモデルなら向いています。24 GB のメモリと約 1 TB/s の帯域幅を備えています。より大きなモデルや長いコンテキストには、GPU あたりより多くのメモリが必要です。
モデルを量子化すべきですか？
8 ビットや 4 ビットへの量子化により、より大きなモデルが収まり、通常は生成も速くなります。品質のわずかな低下はモデルと手法によって異なります。提供する前に、ご自身のプロンプトで品質を確認してください。
EverXCloud で LLM 推論 向けの GPU をレンタルするには？
アカウントを作成し、ユーロ、米ドル、英ポンドでプリペイド残高をチャージしてから、スポット取引所で最良オファーの GPU 時間を購入するか、支払ってもよい価格でリクエストを出します。レンタルは時間単位で課金されます。料金は税抜きで表示され、EverXCloud がすべてのレンタルの販売事業者です。
ローンチ日に備える
今すぐアカウントを作成：マーケットが開いたらすぐに残高をチャージし、用途に合った GPU をレンタルできます。
GPU サーバーをお持ちですか？
法人は EverXCloud Network に参加し、GPU サーバーの時間をスポット取引所で販売できます。
その他の用途
- 大規模言語モデルの学習向け GPU
HBM メモリを備えたデータセンター GPU での事前学習とフルファインチューニング。
- オープンモデルのファインチューニング向け GPU
24 GB 以上の GPU 1 基で LoRA・QLoRA アダプターを学習。
- 画像・動画生成向け GPU
画像・動画の拡散モデル。24 GB のカードから 80 GB の GPU まで。
- 3D レンダリングと VFX 向け GPU
レイトレーシングレンダリング、VFX、リアルタイムエンジン。
- 科学技術計算とシミュレーション向け GPU
HBM メモリを備えたデータセンター GPU でのシミュレーションと HPC コード。