Wdrożenie lokalnego modelu językowego (self-hosted LLM) bywa postrzegane jako prosty sposób na ucieczkę od rosnących faktur za komercyjne API oraz gwarancja pełnej prywatności przetwarzanych danych. W praktyce kalkulacja opłacalności własnej infrastruktury rzadko zamyka się w cenie zakupu samej karty graficznej. Rzeczywisty koszt posiadania (TCO – Total Cost of Ownership) obejmuje platformę serwerową, infrastrukturę zasilania i chłodzenia, zużycie energii elektrycznej w trybie ciągłym, a przede wszystkim czas inżynierów odpowiedzialnych za stabilność środowiska. [4]
Prawidłowe oszacowanie budżetu wymaga przejścia przez ustrukturyzowaną procedurę audytową. Pominięcie pojedynczych zmiennych – takich jak zapotrzebowanie na pamięć podręczną kontekstu (KV cache), współczynnik efektywności energetycznej (PUE) czy koszty redundancji – prowadzi do sytuacji, w której lokalny serwer okazuje się wielokrotnie droższy niż elastyczne korzystanie z zewnętrznych interfejsów programistycznych.
Zacznij od celu: co ma robić self-hosted LLM i przy jakim obciążeniu
Koszty infrastruktury pod sztuczną inteligencję są bezpośrednią pochodną wymagań biznesowych oraz profilu ruchu. Próba doboru sprzętu bez precyzyjnego zdefiniowania warunków brzegowych niemal zawsze kończy się przewymiarowaniem inwestycji lub zakupem platformy, która nie poradzi sobie z równoległą obsługą zapytań.
Oddziel eksperyment od produkcyjnego wdrożenia
Pierwszy punkt kontrolny analizy polega na bezwzględnym rozdzieleniu środowiska prototypowego od systemu produkcyjnego pracującego w rygorze SLA. Uruchomienie modelu demonstracyjnego na pojedynczej karcie klasy konsumenckiej w stacji roboczej pod biurkiem pozwala zweryfikować jakość generowanych odpowiedzi, lecz nie dostarcza żadnych wiarygodnych danych dotyczących kosztów ciągłej eksploatacji.
Produkcyjne wdrożenie wymaga uwzględnienia dostępności w trybie 24/7/365, redundancji zasilania, mechanizmów automatycznego restartu po awarii oraz przewidywalnego czasu odpowiedzi pod zmiennym obciążeniem. Infrastruktura laboratoryjna toleruje przestój i degradację parametrów generowania tokenów; środowisko produkcyjne zintegrowane z systemami ERP, CRM czy platformą obsługi klienta generuje bezpośrednie straty finansowe w przypadku każdej minuty niedostępności.
Należy również precyzyjnie określić charakter prowadzonych operacji obliczeniowych. Samodzielna inferencja (odpytywanie gotowego modelu) stawia zgoła inne wymagania sprzętowe niż dostrajanie wag (fine-tuning) metodami LoRA/QLoRA, a zupełnie odrębną kategorią budżetową jest trenowanie modeli od podstaw. Próba budowy uniwersalnego serwera, który ma jednocześnie realizować szybką inferencję produkcyjną oraz okazjonalny pełny fine-tuning w nocy, zazwyczaj prowadzi do nieefektywnej alokacji kapitału.
Zdefiniuj metryki, które wpływają na koszt
Aby dobrać adekwatną konfigurację sprzętową, niezbędne jest skwantyfikowanie profilu operacyjnego. Kluczowe parametry determinujące rozmiar i koszt platformy to:
- Równoległość zapytań (concurrency): maksymalna liczba jednocześnie przetwarzanych sesji w godzinach szczytowego obciążenia.
- Rozmiar okna kontekstu (context window): średnia oraz skrajna liczba tokenów wejściowych (prompt + historia rozmowy) oraz wyjściowych przypadająca na jedno zapytanie.
- Minimalna akceptowalna przepustowość: tempo generowania tekstu mierzone w tokenach na sekundę (t/s) na pojedynczego użytkownika. Dla czytania w czasie rzeczywistym minimum ergonomiczne wynosi 15–20 t/s.
- Czas do pierwszego tokena (TTFT – Time To First Token): krytyczny parametr w architekturach RAG (Retrieval-Augmented Generation), determinujący czas wstępnego przetworzenia długiego kontekstu.
- Harmonogram pracy: system działający w trybie biurowym (np. 10 godzin na dobę, 5 dni w tygodniu) pozwala na rozważenie dynamicznego wyłączania zasobów, podczas gdy systemy zintegrowane z globalnymi usługami wymagają kalkulacji w oparciu o pełne 730 godzin w miesiącu.
Z punktu widzenia budżetu kluczowe znaczenie ma także dobór akceptowalnej wielkości samego modelu bazowego. Użycie modelu o wielkości 70 miliardów parametrów (70B) zamiast wersji 8B diametralnie zmienia wymagania sprzętowe – winduje zapotrzebowanie na pamięć VRAM z pojedynczej karty na poziom klastra wielokartowego, zwiększając początkowy wydatek sprzętowy nawet czterokrotnie. Jeżeli mniejszy model po odpowiednim dostrojeniu spełnia kryteria jakościowe zadania, wybór większej architektury jest błędem optymalizacyjnym.

Sygnał ostrzegawczy: podejmowanie decyzji o zakupie serwera wyłącznie na podstawie łącznej liczby zapytań dziennie, z pominięciem analizy spiętrzeń ruchu (pików). Pięć tysięcy zapytań rozłożonych równomiernie na całą dobę wymaga minimalnej mocy obliczeniowej; ta sama liczba zapytań skompresowana w 30-minutowym oknie wymaga klastra wielokartowego z dynamicznym kolejkowaniem.
Jeśli obciążenie ma charakter sporadyczny, trudny do przewidzenia, a piki zapotrzebowania występują nieregularnie, stałe koszty utrzymania dedykowanego serwera przewyższą opłaty za rozliczane za token API. Jeśli natomiast obciążenie jest przewidywalne, wysokie i względnie stałe w ujęciu dobowym, własna infrastruktura staje się uzasadnionym kandydatem do szczegółowej kalkulacji TCO.
Krok 1. Dobierz model i policz minimalne wymagania GPU
Pamięć operacyjna karty graficznej (VRAM) stanowi najtwardsze ograniczenie architektoniczne przy wdrażaniu modeli językowych. O ile w przypadku tradycyjnych aplikacji brak RAM-u kompensowany jest wolniejszą pamięcią masową (swap), o tyle w inferencji LLM przerzucanie warstw modelu lub kontekstu między pamięcią GPU a systemowym RAM-em przez magistralę PCIe drastycznie redukuje wydajność – nierzadko do poziomu poniżej 1–2 tokenów na sekundę, co dyskwalifikuje system produkcyjnie.
Parametry modelu, kwantyzacja i zapotrzebowanie na VRAM
Punkt wyjścia stanowi waga samego modelu. W pełnej precyzji 16-bitowej (FP16 lub BF16) każdy parametr modelu zajmuje dokładnie 2 bajty pamięci. Oznacza to, że sam model o rozmiarze 7 miliardów parametrów (7B) wymaga minimum 14 GB VRAM wyłącznie na załadowanie do pamięci. Model 70B w tej precyzji potrzebuje około 140 GB VRAM.
Standardem w optymalizacji kosztowej inferencji stała się kwantyzacja, czyli redukcja precyzji wag do formatów 8-bitowych (INT8), 4-bitowych (INT4/AWQ/GPTQ) lub formatów blokowych (GGUF). Zmniejszenie precyzji do 4 bitów pozwala zredukować zapotrzebowanie na pamięć dla wag modelu o blisko 70-75% przy marginalnej utracie parametrów jakościowych (zależnie od zastosowanego algorytmu kwantyzacji).
| Klasa modelu | Precyzja bazowa (FP16/BF16) | Kwantyzacja 8-bit (INT8) | Kwantyzacja 4-bit (AWQ / GPTQ) | Rekomendowana karta / karty |
|---|---|---|---|---|
| ~7B – 8 B | ~16 GB | ~9–10 GB | ~5–6 GB | 1x RTX 4090 (24 GB) / 1x L4 (24 GB) |
| ~13B – 14B | ~28–32 GB | ~16–18 GB | ~9–11 GB | 1x RTX 4090 (24 GB dla 4-bit) / 2x RTX 4090 / 1x A5000 |
| ~32B – 34B | ~70 GB | ~38–42 GB | ~20–24 GB | 2x RTX 4090 / 1x A6000 (48 GB) / 1x L40S (48 GB) |
| ~70B | ~145–160 GB | ~80–85 GB | ~40–48 GB | 2x A6000 (dla INT4) / 4x RTX 4090 / 2x-4x H100 (80 GB) |
Krytyczny błąd kalkulacyjny na tym etapie polega na utożsamianiu rozmiaru wag na dysku z całkowitym zapotrzebowaniem na pamięć operacyjną akceleratora. Wagi to jedynie statyczna baza. Realna inferencja wielodostępna wymaga dynamicznej alokacji bufora kontekstu (KV cache), którego objętość rośnie liniowo wraz z długością przetwarzanych promptów oraz liczbą równolegle prowadzonych sesji.
Punkt kontrolny: przed zatwierdzeniem konfiguracji należy dodać narzut frameworka serwującego (takiego jak vLLM, TGI czy TensorRT-LLM) oraz rezerwę na operacje macierzowe (CUDA context). W środowiskach produkcyjnych sam kontekst wykonawczy potrafi zająć od 1 do 2,5 GB VRAM na kartę, zanim model przetworzy choćby jeden token. Jeśli silnik inferencyjny wykorzystuje mechanizmy stronicowania pamięci (np. PagedAttention), minimalny bezpieczny bufor wolnej pamięci ponad rozmiar wag skwantyzowanych powinien wynosić co najmniej 30–40% przy oknie kontekstu rzędu 4k–8k tokenów. Dla okien rzędu 32k lub 128k tokenów pamięć KV cache potrafi przewyższyć wagę samego modelu. [3]
Sygnał ostrzegawczy: próba bilansowania pamięci „na styk” (np. uruchomienie modelu 70B w 4-bitach na dwóch kartach o łącznej pamięci 48 GB). W takim scenariuszu jakikolwiek skok liczby jednoczesnych zapytań lub nagłe przesłanie długiego dokumentu wywoła błąd braku pamięci (CUDA Out of Memory), prowadząc do awaryjnego restartu całego kontenera inferencyjnego. Minimum w architekturze produkcyjnej to zachowanie przestrzeni pozwalającej na obsłużenie co najmniej 8–16 jednoczesnych strumieni bez degradacji do kolejki oczekującej.
Jeśli precyzyjne wyliczenie wag, kontekstu KV cache oraz narzutu frameworka wskazuje, że model mieści się na pojedynczej karcie z bezpiecznym marginesem, cała architektura zachowuje prostotę i relatywnie niski koszt wejścia. Jeśli jednak kalkulacja wymusza podział modelu na kilka GPU (Tensor Parallelism), budżet przestaje rosnąć proporcjonalnie do liczby kart, a zaczyna zależeć od przepustowości szyny łączącej układy i skokowo
rosnących wymagań stawianych platformie bazowej.
Gdy pojedyncza karta nie mieści modelu wraz z buforem KV cache, konieczne staje się rozproszenie obliczeń za pomocą techniki Tensor Parallelism (TP). W tym modelu każda warstwa sieci neuronowej jest dzielona pomiędzy procesory graficzne, co wymaga intensywnej wymiany danych (operacje all-reduce) po każdym bloku transformera. Tutaj wąskim gardłem staje się interfejs komunikacyjny:
- Magistrala PCIe Gen 4/Gen 5 (karty konsumenckie i entry-level): Oferuje przepustowość rzędu 32–64 GB/s w każdym kierunku. Przy podziale na 2 karty (TP=2) strata wydajności jest jeszcze akceptowalna, lecz przy konfiguracjach TP=4 lub TP=8 narzut komunikacyjny na magistrali PCIe może pochłonąć ponad 40–60% mocy obliczeniowej rdzeni CUDA, degradując zysk z równoległości.
- Mostki NVLink / matryca NVSwitch (akceleratory Enterprise): Zapewniają przepustowość na poziomie 600–900 GB/s (A100/H100), co eliminuje problem opóźnień komunikacyjnych między kartami. Wiąże się to jednak z koniecznością zakupu platform serwerowych dedykowanych pod architekturę SXM/OAM, co drastycznie podnosi próg wejścia.
Kryterium weryfikacji etapu: jeśli do osiągnięcia celu biznesowego potrzebujesz modelu klasy 70B z minimalnym czasem odpowiedzi, w kalkulacji nie możesz po prostu zsumować ceny czterech tanich kart graficznych. Musisz uwzględnić konieczność zakupu profesjonalnych akceleratorów wyposażonych w szybkie szyny interkonektu lub zaakceptować znaczny spadek przepustowości generowania tokenów.
Krok 2. Oblicz koszt zakupu serwera, nie ograniczając się do kart GPU
Powszechnym błędem budżetowym jest utożsamianie wydatków na infrastrukturę ze specyfikacją kart graficznych. W środowisku produkcyjnym platforma bazowa (barebone, procesory, pamięć RAM, kontrolery dyskowe) stanowi często od 40% do nawet 60% całkowitej wartości inwestycji sprzętowej. Akceleratory AI stawiają rygorystyczne wymagania całej architekturze komputera.
Wymagania platformy serwerowej pod LLM
Zbudowanie stabilnej stacji lub serwera rackowego (zazwyczaj obudowa 4U lub dedykowana konstrukcja 5U/8U) wymaga skompletowania następujących komponentów:

- Procesor (CPU) i linie PCIe: Liczba linii transmisyjnych to parametr krytyczny. Standardowy procesor desktopowy oferuje 20–24 linie PCIe, co uniemożliwia obsługę więcej niż jednej karty w pełnym trybie x16. Konfiguracja pod 2–4 GPU wymaga platformy serwerowej (AMD EPYC lub Intel Xeon Scalable) oferującej minimum 64–128 linii PCIe Gen 4 lub Gen 5, aby każda karta miała zagwarantowaną pełną przepustowość magistrali bez współdzielenia pasma przez przełączniki PLX.
- Pamięć systemowa RAM: Obowiązuje żelazna reguła architektury: pojemność pamięci RAM serwera powinna wynosić co najmniej 1,5-krotność (a optymalnie 2-krotność) całkowitej pamięci VRAM zainstalowanej w maszynie. Serwer z 96 GB VRAM wymaga minimum 192–256 GB pamięci DDR4/DDR5 ECC Registered. Pamięć RAM jest niezbędna do buforowania modeli podczas ich ładowania, obsługi operacji CPU-offloading w sytuacjach awaryjnych oraz pracy wielowątkowych serwerów aplikacyjnych.
- Pamięć masowa NVMe Enterprise: Modele językowe to gigantyczne pliki binarne (od kilkunastu do setek gigabajtów). Czas ładowania modelu do VRAM przy restarcie kontenera zależy wprost od prędkości nośnika. Wymagane są dyski SSD NVMe PCIe 4.0/5.0 (klasy U.2/U.3 lub E1.S) o wysokiej odporności na zapis (DWPD) i stałej prędkości odczytu sekwencyjnego rzędu 5000–7000 MB/s. Użycie standardowych dysków konsumenckich na złączu M.2 w trybie ciągłym grozi ich szybkim przegrzaniem (throttling termiczny) lub uszkodzeniem komórek pamięci.
- Zasilacze redundantne (CRPS): Zapotrzebowanie energetyczne nowoczesnych GPU generuje potężne skoki obciążenia (tzw. power spikes). Serwer z czterema kartami wysokiej klasy wymaga zasilania redundantnego (2+2 lub 3+1) w standardzie Titanium o mocy łącznej od 3000 do 6000 W. Zwykłe zasilacze jednokanałowe nie radzą sobie z dynamiczną zmianą poboru prądu przez rdzenie Tensor. [2]
- Chłodzenie przemysłowe: Karty klasy profesjonalnej (np. NVIDIA L40S, A100) to w większości konstrukcje chłodzone pasywnie. Wymagają one obudowy serwerowej wyposażonej w wentylatory o prędkości obrotowej rzędu 8000–12000 RPM, które wymuszają ukierunkowany przepływ powietrza przez radiatory kart. Hałas generowany przez taki serwer przekracza 75–85 dB, co całkowicie wyklucza jego pracę w jakimkolwiek pomieszczeniu biurowym.
Kryteria weryfikacji kosztów sprzętu (wartości rynkowe dla sprzętu nowego klasy enterprise):
- Platforma serwerowa 4U (płyta główna, obudowa, backplane NVMe, zasilacze redundantne, chłodzenie): 25 000 – 45 000 PLN netto.
- Procesor serwerowy (np. 1x AMD EPYC 16/32 rdzenie, 128 linii PCIe): 8 000 – 18 000 PLN netto.
- Pamięć RAM (256 GB DDR5 ECC Reg): 6 000 – 9 000 PLN netto.
- Pamięć NVMe Enterprise (2x 3.84 TB U.2 RAID 1): 5 000 – 8 000 PLN netto.
- Koszt bazy (bez GPU): 44 000 – 80 000 PLN netto.
- Akceleratory (zależnie od scenariusza):
- Ekonomiczny (2x NVIDIA RTX 4090 24 GB – modyfikowane pod montaż serwerowy): ~18 000 – 22 000 PLN netto (uwaga na brak gwarancji w środowiskach datacenter).
- Optymalny mid-tier (2x NVIDIA RTX 6000 Ada / L40S 48 GB): ~80 000 – 120 000 PLN netto.
- High-end enterprise (4x–8x NVIDIA H100 80 GB): od 600 000 PLN netto w górę.
Sygnał ostrzegawczy: montowanie konsumenckich kart graficznych w seryjnych obudowach serwerowych typu rack. Zwykłe karty z wentylatorami osiowymi wyrzucają gorące powietrze do wnętrza obudowy, zamiast poza szafę. W układzie gęstym powoduje to natychmiastowe przegrzewanie się sąsiadujących kart po kilku minutach pracy pod pełnym obciążeniem, skutkując drastycznym dławieniem taktowania (thermal throttling) i spadkiem wydajności o ponad 50%.
Krok 3. Policz energię, chłodzenie i koszt pracy 24/7
Koszt zakupu sprzętu (CapEx) to tylko początek zobowiązania finansowego. Stałe koszty operacyjne (OpEx) związane z zasilaniem i klimatyzacją infrastruktury AI potrafią w ciągu 24–36 miesięcy zrównać się z ceną samej platformy obliczeniowej.
Formuła obliczania kosztu zasilania
Rzeczywiste zapotrzebowanie serwera AI na prąd nie jest równe sumie wskaźników TDP (Thermal Design Power) podanych w specyfikacji kart. Do poboru GPU należy doliczyć zapotrzebowanie procesorów (200–400 W na gniazdo), modułów RAM (ok. 4–8 W na kość), dysków NVMe, strat na sprawności zasilacza (zazwyczaj 6–10% przy certyfikacie Titanium) oraz wentylatorów chłodzących (zestaw przemysłowy w obudowie 4U potrafi stale pobierać 150–300 W).

Do oszacowania całkowitych kosztów energii elektrycznej służy wzór uwzględniający współczynnik efektywności energetycznej infrastruktury (PUE – Power Usage Effectiveness):
Roczny koszt energii = (Pobór mocy [kW] × 8760 h) × PUE × Koszt 1 kWh [PLN]Wskaźnik PUE określa, ile dodatkowej energii wymaga odprowadzenie ciepła wygenerowanego przez sprzęt (klimatyzacja, chłodzenie maszynowni, straty na UPS). Dla profesjonalnych komercyjnych centrów danych PUE wynosi zazwyczaj 1,2–1,35. W przypadku małej, wewnętrznej serwerowni firmowej lub adaptowanego pomieszczenia technicznego bez precyzyjnej klimatyzacji rzędowej PUE nierzadko sięga 1,6–1,9 (co oznacza, że na każde 1000 W zużyte przez serwer trzeba wydać kolejne 600–900 W na pracę klimatyzatorów).
Kalkulacja kosztu 24/7 dla typowego zestawu roboczego
Rozpatrzmy serwer z dwoma akceleratorami klasy enterprise (np. 2x L40S lub RTX 6000 Ada) pracujący w trybie ciągłym:
- Pobór mocy serwera pod obciążeniem (inferencja mieszana, średnie wykorzystanie 60–70% w ciągu doby): ok. 1,1 kW.
- Pobór mocy w stanie bezczynności (idle z załadowanym modelem): ok. 0,35 kW.
- Średni ważony pobór dobowy (profil produkcyjny B2B): ok. 0,85 kW (0,85 kWh na godzinę).
- Zużycie roczne przez sam serwer: 0,85 kW × 8760 h = 7446 kWh.
- Uwzględnienie chłodzenia (wariant serwerowni on-premise, PUE = 1,5): 7446 kWh × 1,5 = 11 169 kWh rocznie.
- Koszt całkowity przy stawce komercyjnej 1,20 PLN brutto za 1 kWh: 13 402 PLN rocznie (ok. 1117 PLN miesięcznie).
W przypadku klastra czterech kart o poborze 350–450 W każda (np. mocniejsze konfiguracje pod modele 70B), średni dobowy pobór platformy sięga 2,2 kW. Przy tym samym wskaźniku PUE roczne zużycie wynosi blisko 28 900 kWh, generując roczny rachunek za prąd przekraczający 34 500 PLN.
Sygnał ostrzegawczy: kalkulowanie kosztów na podstawie stawek taryfy domowej lub traktowanie poboru w stanie spoczynku jako reprezentatywnego. Silniki inferencyjne utrzymujące model w pełnej gotowości operacyjnej nie usypiają rdzeni Tensor w takim stopniu jak standardowe procesory x86. Dodatkowo lokalny brak instalacji zasilania trójfazowego i przemysłowego chłodzenia odprowadzającego ciepło na zewnątrz budynku doprowadzi w małym pomieszczeniu do wzrostu temperatury otoczenia powyżej 35–40°C w ciągu kilkunastu minut od uruchomienia wsadowego przetwarzania promptów.
Krok 4. Dodaj koszty utrzymania, bezpieczeństwa i pracy operacyjnej
Sprzęt i prąd tworzą fizyczne fundamenty. Trzecią, najczęściej pomijaną w arkuszach kalkulacyjnych składową TCO, są wydatki operacyjne (OpEx) związane z bezpiecznym ulokowaniem maszyny, zapewnieniem ciągłości działania oraz robocizną inżynierską.
Alternatywa lokalizacyjna: własne biuro a kolokacja (Colocation)
Próba wstawienia serwera AI do szafy krosowej w siedzibie firmy niemal zawsze kończy się porażką techniczną z powodu hałasu turbin serwerowych, braku zapasu mocy przyłączeniowej oraz braku awaryjnego agregatu prądotwórczego. Z tego względu standardem staje się wynajem przestrzeni w profesjonalnym centrum danych:
- Koszt kolokacji (szafa 1/2 lub cała szafa 42U): 2 500 – 5 000 PLN netto miesięcznie w zależności od gwarantowanego przydziału mocy (serwery AI wymagają dedykowanych linii zasilających 16A lub 32A).
- Łącze internetowe (BGP / tranzyt IP z SLA): 500 – 1 500 PLN netto miesięcznie za gwarantowane symetryczne pasmo z ochroną anty-DDoS.
- Usługa Remote Hands: 200 – 400 PLN netto za godzinę pracy technika w serwerowni w razie konieczności fizycznego zresetowania maszyny, wymiany dysku czy przepięcia kabli.
Koszty wsparcia producenta, gwarancji i części zamiennych
Karty graficzne obciążone ciągłą inferencją 24/7 są podatne na awarie sekcji zasilania VRM oraz degradację pamięci GDDR6X/HBM. Standardowa rękojmia konsumencka nie obejmuje zastosowań serwerowych (licencje sterowników NVIDIA GeForce wprost zabraniają użycia tych układów w centrach danych poza ograniczonymi wyjątkami blockchain).
W kalkulacji należy ująć:
- Rozszerzony kontrakt serwisowy (Care Pack / ProSupport Plus): Dla serwera AI klasy Dell/HPE/Supermicro z czasem reakcji NBD (Next Business Day) na miejscu instalacji koszt wynosi od 15% do 25% wartości sprzętu za każdy rok po upływie okresu podstawowego (ok. 8 000 – 20 000 PLN rocznie).
- Rezerwa na części zamienne (cold spare): W przypadku budowy platformy w oparciu o komponenty whitebox konieczne jest natychmiastowe zamrożenie kapitału w zapasowym zasilaczu, dwóch dyskach NVMe oraz co najmniej jednym zapasowym GPU w magazynie, aby uniknąć wielotygodniowego przestoju w oczekiwaniu na realizację procedury RMA.
Czas inżyniera: MLOps i utrzymanie środowiska
Uruchomienie serwera nie jest jednorazowym zadaniem. W odróżnieniu od komercyjnych API, gdzie dostawca odpowiada za dostępność, self-hosted LLM wymaga stałego nadzoru inżyniera DevOps lub MLOps:
- Aktualizacja silników inferencyjnych (vLLM, Ollama, TensorRT-LLM) oraz wersji bibliotek CUDA i sterowników NVIDIA (średnio 4–8 godzin w miesiącu). [1]
- Zarządzanie bezpieczeństwem: izolacja sieciowa kontenerów, zabezpieczenie endpointów API, rotacja kluczy, ochrona przed atakami typu Prompt Injection na poziomie warstwy pośredniej (WAF dla LLM).
- Monitoring metryk: integracja Prometheus/Grafana do śledzenia parametrów GPU (temperatura hotspot, power limit, wykorzystanie VRAM, throttling) oraz wydajności inferencji (TTFT, tokeny/sekundę, wielkość kolejki).
Realistyczny narzut czasu pracy wykwalifikowanego specjalisty to od 15 do 30 roboczogodzin miesięcznie. Przy rynkowej stawce kontraktowej 150–250 PLN/h generuje to stały koszt operacyjny na poziomie 2 250 – 7 500 PLN miesięcznie, którego nieuwzględnienie całkowicie fałszuje rachunek zysków i strat w zestawieniu z modelem chmurowym API.
Procedura weryfikacji budżetu: audyt przedzakupowy krok po kroku
Aby uniknąć przekroczenia budżetu lub zakupu platformy uniemożliwiającej skalowanie, przejdź przez poniższą procedurę kontrolną przed podjęciem decyzji zakupowej:
- Faza wstępna (Przed zakupem):
- Przeprowadź profilowanie zapytania testowego: zmierz maksymalny rozmiar promptu wejściowego oraz generowanej odpowiedzi w tokenach.
- Określ minimalne akceptowalne SLA: czy dopuszczasz buforowanie w kolejce FIFO, czy odrzucasz zapytania powyżej zadanego limitu równoległych sesji?
- Zweryfikuj przepustowość zasilania w miejscu docelowym (czy gniazdo i zabezpieczenie różnicowoprądowe wytrzymają ciągłe obciążenie minimum 10–16A bez spadku napięcia).
- Faza techniczna (Weryfikacja sprzętu):
- Sprawdź konfigurację linii procesora: czy płyta główna oferuje fizyczne linie PCIe x16 dla każdego gniazda GPU bez współdzielenia pasma z dyskami NVMe.
- Upewnij się, że zasilacze posiadają zapas co najmniej 30% mocy ponad teoretyczny sumaryczny pobór komponentów w szczycie.
- Dobierz akceleratory pod kątem przepustowości szyny pamięci: do szybkiej generacji dla wielu użytkowników przepustowość VRAM (GB/s) jest ważniejsza niż surowa moc TFLOPS rdzeni obliczeniowych.
- Faza wdrożeniowa (Testy odbiorcze):
- Uruchom 24-godzinny test obciążeniowy (stress-test) przy 100% wykorzystaniu GPU (np. test macierzy cuBLAS) w docelowej obudowie i szafie, monitorując temperaturę pamięci VRAM (Memory Junction Temperature nie powinna przekraczać 85–90°C).
- Zweryfikuj zachowanie systemu w warunkach CUDA OOM (brak pamięci) – czy orkiestrator (np. Kubernetes lub Docker restart policy) przywraca instancję do stanu używalności w czasie poniżej 60 sekund.
Lista kontrolna: Audyt TCO własnego serwera LLM
Odznacz każdy punkt przed zatwierdzeniem budżetu inwestycyjnego. Pominięcie choćby jednego elementu oznacza niedoszacowanie rocznego kosztu utrzymania o minimum kilkanaście procent.
- [ ] Zapas VRAM na KV cache: Objętość pamięci akceleratora przekracza rozmiar wag modelu skwantyzowanego o co najmniej 35% przy planowanym oknie kontekstu.
- [ ] Wymagania magistrali interkonektu: W przypadku podziału modelu na 2 lub więcej GPU zweryfikowano, czy magistrala (PCIe vs NVLink) nie stanie się wąskim gardłem ograniczającym throughput.
- [
] Bilans energetyczny i współczynnik PUE: W kalkulacji zużycia prądu uwzględniono realną efektywność klimatyzacji obiektu (mnożnik 1,3–1,7) zamiast nominalnego poboru samego zasilacza.
- [ ] Infrastruktura zasilania rezerwowego: Maszyna podłączona jest do UPS z podwójną konwersją (online), zdolnego utrzymać pracę do bezpiecznego zrzutu stanu modelu i wyłączenia węzła.
- [ ] Licencja na sterowniki i oprogramowanie: Wykorzystany sprzęt nie narusza zapisów EULA dostawcy akceleratorów (eliminacja ryzyka prawnego przy komercyjnym użyciu kart konsumenckich).
- [ ] Kontrakt serwisowy NBD lub magazyn części (cold spare): Zabezpieczono fizyczny dostęp do komponentów wymiennych bez przestojów przekraczających założone SLA biznesowe.
- [ ] Koszty kolokacji lub adaptacji pomieszczenia: W budżecie OpEx uwzględniono miesięczny koszt szafy rack z dedykowaną mocą min. 3–5 kW lub koszt przystosowania wentylacji w budynku.
- [ ] Budżet roboczogodzin inżynierskich: Przypisano realny koszt pracy specjalisty MLOps/DevOps (minimum 15–20 godzin miesięcznie na utrzymanie i łatki bezpieczeństwa).
- [ ] Poufność i zgodność regulacyjna: Weryfikacja wykazała, że wymagania prawne (np. RODO, tajemnica bankowa, dane medyczne) faktycznie uniemożliwiają użycie szyfrowanych endpointów chmurowych z dedykowaną instancją logiczną.
Jeśli w powyższej liście kontrolnej odznaczono mniej niż komplet pozycji, projekt obarczony jest ryzykiem tzw. ukrytego długu operacyjnego. W praktyce oznacza to, że realne koszty pierwszego roku eksploatacji przewyższą pierwotne szacunki o 40–80%.
Syntetyczne zestawienie TCO: horyzont 36 miesięcy
Pojedyncza faktura zakupowa za serwer daje złudne poczucie oszczędności. Dopiero pełna projekcja 3-letnia pozwala sprawdzić, w którym punkcie koszty infrastruktury własnej przecinają się z rachunkami za komercyjne API.
| Kategoria kosztu | Wariant A: Serwer 2x GPU (np. L40S, model 8B–14B) | Wariant B: Klaster 4x–8x GPU (np. H100/A100, model 70B) |
|---|---|---|
| CapEx (sprzęt bazowy, GPU, redundantne zasilanie) | 110 000 – 145 000 PLN | 420 000 – 850 000 PLN |
| Wsparcie producenta (CarePack / SLA 36 m-cy) | 18 000 – 28 000 PLN | 65 000 – 130 000 PLN |
| Kolokacja w DC z gwarancją mocy (36 m-cy) | 90 000 – 120 000 PLN | 160 000 – 260 000 PLN |
| Utrzymanie inżynierskie (MLOps / DevOps, 36 m-cy) | 90 000 – 180 000 PLN | 150 000 – 300 000 PLN |
| Szacowany całkowity koszt TCO (3 lata) | 308 000 – 473 000 PLN | 795 000 – 1 540 000 PLN |
| Średni ważony koszt miesięczny (TCO / 36) | ok. 8 500 – 13 100 PLN | ok. 22 000 – 42 700 PLN |
Sygnał ostrzegawczy: ignorowanie amortyzacji. Sprzęt akceleracyjny po 36 miesiącach ciągłej pracy traci od 65% do 80% wartości rynkowej ze względu na premierę dwóch kolejnych generacji mikroarchitektur o wyższej efektywności energetycznej (token/wat).
Punkt krytyczny: kiedy inwestycja w hardware staje się racjonalna
Kryterium opłacalności self-hostingu sprowadza się do zestawienia miesięcznego kosztu TCO z wolumenem tokenów przetwarzanych przez organizację. Własny serwer nie generuje oszczędności przy obciążeniach zmiennych, z wyraźnymi przestojami nocnymi lub weekendowymi – w takim scenariuszu infrastruktura generuje koszty stałe, nie dostarczając wartości biznesowej.
Inwestycja w fizyczny hardware broni się wyłącznie w dwóch scenariuszach operacyjnych:
- Ciągłe, wysokie nasycenie kolejki inferencyjnej: Maszyny pracują z utylizacją przekraczającą 65–75% przez całą dobę (przetwarzanie wsadowe milionów dokumentów, ciągła transkrypcja i analiza ruchu audio, systemy produkcyjne działające globalnie w trybie ciągłym). Wtedy koszt jednostkowy miliona wygenerowanych tokenów spada poniżej cenników dostawców chmurowych.
Kluczowe Wnioski
- Koszt self-hosted LLM obejmuje nie tylko GPU, lecz także serwer, zasilanie, chłodzenie, energię, redundancję i pracę zespołu.
- Dobór infrastruktury powinien wynikać z modelu, kwantyzacji, długości kontekstu, liczby równoległych sesji, wymaganej przepustowości i czasu pracy.
- Sama pamięć na wagi modelu nie wystarcza do oszacowania VRAM. Należy uwzględnić KV cache, narzut frameworka oraz rezerwę bezpieczeństwa.
- Przy sporadycznym i nieprzewidywalnym ruchu API rozliczane za token może być korzystniejsze niż stałe utrzymanie własnego serwera.
- Przewidywalne, wysokie i względnie stałe obciążenie może uzasadniać szczegółową kalkulację TCO infrastruktury self-hosted.
Pytania od czytelników
Czy do oszacowania kosztu wystarczy znać liczbę parametrów modelu?
Dlaczego model nie powinien zajmować całej dostępnej pamięci VRAM?
Kiedy własny serwer może być mniej opłacalny niż API?
Czy serwer do testów można traktować jako konfigurację produkcyjną?
