GPU do inferencji LLM
Serwowanie modelu językowego ma dwa ograniczenia: wagi i pamięć podręczna KV muszą zmieścić się w pamięci GPU, a każdy wygenerowany token ponownie odczytuje wagi z pamięci. Rozmiar pamięci decyduje, które modele możesz serwować; przepustowość pamięci w dużej mierze decyduje, jak szybko odpowiadają.
GPU pasujące do zastosowania: inferencja LLM
Przesuń w bok, aby zobaczyć wszystkie kolumny.
| GPU | Pamięć | Przepustowość | Tensor FP8 | Inferencja, 16-bit | Inferencja, 4-bit | Cena/h |
|---|---|---|---|---|---|---|
| L4Ada Lovelace | 24 GB | 300 GB/s | 242 TFLOPS | ≈ 9B | ≈ 30B | od 0,44 USD |
| RTX 4090Ada Lovelace | 24 GB | 1008 GB/s | Nie opublikowano | ≈ 9B | ≈ 30B | od 0,33 USD |
| RTX 5090Blackwell | 32 GB | 1792 GB/s | Nie opublikowano | ≈ 10B | ≈ 40B | od 0,69 USD |
| L40SAda Lovelace | 48 GB | 864 GB/s | 733 TFLOPS | ≈ 15B | ≈ 60B | od 0,79 USD |
| RTX PRO 6000 BlackwellBlackwell | 96 GB | 1792 GB/s | Nie opublikowano | ≈ 35B | ≈ 120B | od 1,69 USD |
| A100 SXMAmpere | 80 GB | 2039 GB/s | Nie opublikowano | ≈ 30B | ≈ 100B | od 1,79 USD |
| H100 SXMHopper | 80 GB | 3350 GB/s | 1979 TFLOPS | ≈ 30B | ≈ 100B | od 2,88 USD |
| H200Hopper | 141 GB | 4800 GB/s | 1979 TFLOPS | ≈ 55B | ≈ 180B | od 4,19 USD |
| MI300XCDNA 3 | 192 GB | 5300 GB/s | 2614 TFLOPS | ≈ 75B | ≈ 250B | od 4,16 USD |
Specyfikacje producenta, na jedno GPU; wydajność tensorowa bez rzadkości. Rozmiary modeli to ostrożne szacunki w miliardach parametrów, przy założeniu 80% pamięci; długość kontekstu, rozmiar partii i framework zmieniają rzeczywisty limit. Ceny to najlepsza oferta na żywo za jedno GPU na godzinę, bez podatku.
Wszystkie modele GPUCo się liczy w zastosowaniu: inferencja LLM
Najpierw model, potem pamięć podręczna
Model potrzebuje około 2 bajtów na parametr w 16 bitach i około pół bajta przy kwantyzacji 4-bitowej. Pamięć podręczna KV rośnie wraz z długością kontekstu i liczbą równoczesnych żądań, dlatego szacunki zostawiają 20% pamięci wolne.
Przepustowość decyduje o tokenach na sekundę
Przy małych partiach generowanie tokenów jest ograniczone przepustowością pamięci, a nie mocą obliczeniową: GPU o dwukrotnie większej przepustowości generuje tokeny mniej więcej dwa razy szybciej na tym samym modelu. Przy czatach i agentach porównuj najpierw kolumnę przepustowości.
Wydajność i FP8
Przy zadaniach wsadowych i dużej równoczesności większe znaczenie ma wydajność tensorowa. GPU Hopper, Ada Lovelace i nowsze obsługują FP8, które w porównaniu z 16 bitami o połowę zmniejsza pamięć wag i przyspiesza silniki serwujące, które je obsługują.
Porównaj GPU do zastosowania: inferencja LLM
GPU do inferencji LLM: najczęstsze pytania
Jakie GPU potrzebne jest do uruchomienia modelu 70B?
Przy kwantyzacji 4-bitowej model o 70 mld parametrów potrzebuje około 40 GB na same wagi: jedno GPU 48 GB to mało, GPU 80 GB zostawia miejsce na pamięć podręczną. W 16 bitach potrzeba około 140 GB na wagi, czyli co najmniej dwóch GPU 80 GB.
Czy RTX 4090 nadaje się do inferencji?
Do modeli o około 30 mld parametrów w 4 bitach — tak: ma 24 GB pamięci i około 1 TB/s przepustowości. Większe modele i długie konteksty wymagają więcej pamięci na GPU.
Czy powinienem kwantyzować model?
Kwantyzacja do 8 lub 4 bitów pozwala zmieścić większy model i zwykle przyspiesza generowanie, przy niewielkiej utracie jakości zależnej od modelu i metody. Sprawdź jakość na własnych promptach przed udostępnieniem modelu.
Jak wynająć GPU do zastosowania „inferencja LLM” w EverXCloud?
Załóż konto, doładuj saldo przedpłacone w euro, dolarach amerykańskich lub funtach, a następnie kup godziny GPU na giełdzie spot po najlepszej ofercie lub złóż zlecenie po cenie, jaką chcesz zapłacić. Wynajem jest rozliczany godzinowo. Ceny podajemy bez podatku, a EverXCloud jest sprzedawcą (merchant of record) każdego wynajmu.
Bądź gotów w dniu startu
Załóż konto już teraz: doładujesz saldo i wynajmiesz GPU pasujące do Twojego zastosowania, gdy tylko rynek zostanie otwarty.
Masz serwery GPU?
Firmy mogą dołączyć do EverXCloud Network i sprzedawać godziny swoich serwerów GPU na giełdzie spot.
Inne zastosowania
- GPU do treningu dużych modeli językowych
Pre-trening i pełny fine-tuning na GPU do centrów danych z pamięcią HBM.
- GPU do fine-tuningu otwartych modeli
Adaptery LoRA i QLoRA na jednym GPU, od 24 GB.
- GPU do generowania obrazów i wideo
Modele dyfuzyjne do obrazów i wideo, od kart 24 GB po GPU 80 GB.
- GPU do renderingu 3D i efektów wizualnych
Rendering z ray tracingiem, efekty wizualne i silniki czasu rzeczywistego.
- GPU do obliczeń naukowych i symulacji
Symulacje i kody HPC na GPU do centrów danych z pamięcią HBM.