L2 Lokalny LLM on-prem · Twoja chmura · air-gapped

Lokalny LLM w firmie, na Twoim sprzęcie.

On-prem, na Twoim koncie chmurowym albo w środowisku air-gapped: model działa tam, gdzie już są Twoje dane, a prompty nigdy nie trafiają do zewnętrznego dostawcy AI. Co się zmieści, jak szybko działa i czego wymaga, na przykładzie maszyny, na której pracuję codziennie.

Opisz swój problem Które lokalne modele najlepiej sprawdzają się w agentach

§01 dlaczego lokalnie

Trzy powody, dla których firmy przenoszą model do siebie.

Dane nie mogą wyjść.

Dokumentacja medyczna, umowy, kod źródłowy, wszystko pod NDA albo polityką bezpieczeństwa klienta. Jeśli model działa w Twojej sieci, nic nie musi być wysyłane na zewnątrz do przetworzenia.

Rachunek rośnie z użyciem.

Ceny API rosną z każdym tokenem. Model na własnym GPU kosztuje tyle samo o 3 w nocy, co w szczycie, więc przy stałym, dużym obciążeniu może wyjść taniej.

Ty kontrolujesz wersję.

Żadnych cichych aktualizacji modelu ani wycofań według cudzego harmonogramu. Przypinasz wagi, kwantyzację i format promptu, a Twoje ewaluacje pozostają ważne.

§02 co się zmieści RTX 4090 · 24 GB

Model 27B z kontekstem 262K na jednej karcie 24 GB.

To moja własna maszyna: jedna RTX 4090 serwuje cały dzień moim agentom kodującym model Qwen 27B skwantyzowany do Q4_K_M. Wagi zajmują około 17 GB. To cache KV, czyli pamięć trzymająca rozmowę, zwykle decyduje o tym, czy długi kontekst się zmieści.

tokenów kontekstu: 262K; tokenów kontekstu
zmierzonej zajętości VRAM: ~20 GB; zmierzonej zajętości VRAM
tok/s szczytowego dekodowania: 82; tok/s szczytowego dekodowania

→ Jak robi to silnik → Matematyka cache KV: ile kosztuje długi kontekst → Które lokalne modele najlepiej sprawdzają się w agentach

fig. 01 VRAM przy kontekście 262K, model 27B (Q4_K_M)

KV FP16 ≈33 GB · nie mieści się
KV TBQ4 ≈21 GB · mieści się

~17 GB wag plus cache KV: 16 GiB w FP16, 4,1 GiB z 4,125-bitowym cache TBQ4.

§03 poza modelem n=6

Czego wymaga poza wagami na GPU.

API Endpoint zgodny z OpenAI, żeby Twoje narzędzia, SDK i frameworki agentowe działały bez zmian.
kwant Kwantyzacja i strategia cache KV dobrane do długości kontekstu i Twojego GPU, zmierzone, a nie zgadywane.
ewaluacje Ewaluacje na Twoich danych, zanim cokolwiek zostanie przełączone, żebyś wiedział, co lokalny model robi dobrze, a gdzie nie.
dostęp Uwierzytelnianie, dostęp per zespół i logi promptów, żeby dało się pokazać, kto, o co i kiedy pytał.
sieć Izolacja sieciowa: serwer inferencji nie potrzebuje wyjścia do internetu, a w środowisku air-gapped nigdy go nie dostaje.
routing Opcjonalny routing: wrażliwe zadania zostają lokalnie, a resztę wciąż można wysłać do czołowego API.

§04 rodo

Nie, ale usuwa najtrudniejszą część. Gdy model działa na Twoim sprzęcie, prompty i dokumenty nie są wysyłane do zewnętrznego dostawcy AI, więc dostawca AI w tym systemie znika z obrazu: nie ma dodatkowego podmiotu przetwarzającego do zweryfikowania ani transferu promptów poza Twoją infrastrukturę.

To, co zostaje, jest Twoje w każdym wariancie: podstawa prawna, zasady retencji, kontrola dostępu i tam, gdzie wymaga tego przypadek użycia, ocena skutków dla ochrony danych (DPIA). Buduję system tak, żeby łatwo było to wykazać: z logami, kontrolą dostępu i izolacją. Zatwierdza Twój IOD albo prawnik; ja jestem inżynierem, nie prawnikiem.

kiedy nie

Kiedy lokalnie to zła odpowiedź.

Małe albo skokowe obciążenie. Jeśli model przez większość dnia stoi bezczynnie, API jest zwykle tańsze i prostsze.
Potrzebujesz najmocniejszego czołowego modelu do najtrudniejszych zadań. API daje Ci go bez kupowania sprzętu.
Nikt nie może być właścicielem. Lokalny model to usługa, którą ktoś musi utrzymywać. Jeśli to nikt, powiem Ci to na rozmowie.

§05 odpowiedzi

Krótkie odpowiedzi.

Czy model 27B uruchomi się na jednej RTX 4090?

Tak. W Q4_K_M wagi zajmują około 17 GB. Z 4,125-bitowym cache KV kontekst 262K tokenów mieści się w około 20 GB łącznie, a dekodowanie dochodzi do 82 tok/s na mojej maszynie.

Lokalny LLM czy API: co jest tańsze?

Zależy od wolumenu i od tego, jak wrażliwe są dane. Mały wolumen zwykle przemawia za API; stałe obciążenie na danych, które nie mogą wyjść, zwykle za modelem lokalnym. Liczby dla Twojego obciążenia liczę w trakcie analizy technicznej.

Jakiego lokalnego modelu użyć?

Tego, który zalicza Twoje ewaluacje na Twoich zadaniach. Do kodowania agentowego na 24 GB w moim benchmarku dziesięciu lokalnych modeli prowadziły modele dense 27B.

Czy może działać całkowicie offline?

Tak. Inferencja, wyszukiwanie w Twoich dokumentach i API działają bez dostępu do internetu; modele i aktualizacje wnosi się świadomie.

Dane, które nie mogą wyjść z firmy?

Opisz swój problem

30-minutowa rozmowa techniczna z inżynierem, który to buduje. Bez działu sprzedaży, bez slajdów.