Inferencja, która działa tam, gdzie są Twoje dane.
Buduję i stroję stos serwujący: dobór modelu, kwantyzację, strategię cache KV, multi-token prediction, API zgodne z OpenAI, żeby Twoje narzędzia dalej działały, oraz dobór sprzętu. On-prem, na Twoim koncie chmurowym albo w środowisku air-gapped.
Co dostajesz
- 01 Działająca usługa inferencji
- 02 Benchmarki na Twoim obciążeniu: przepustowość, opóźnienia, pamięć
- 03 Infrastruktura jako kod
- 04 Runbook, który należy do Twojego zespołu
Dowody
- C++ kod ↗
llama.cpp-turboq-mtp
Mój fork llama.cpp-turboq. Dodałem asynchroniczne checkpointy, minimalne dopełnienie cache KV, poprawki stabilności MTP i Gated DeltaNet, ładowanie modeli na gorąco bez osobnego routera, rozszerzenia API OpenAI dla zgodności z agentami i port cache KV TBQ na Metal. Do 82 tok/s z 4,125-bitowym cache KV przy kontekście 262K na jednej karcie RTX 4090.
github.com/jtrefon/llama.cpp-turboq-mtp
- Swift kod ↗
compass
Lokalna inferencja, RAG na urządzeniu i uzupełnianie kodu działające w pełni offline.
github.com/jtrefon/compass
Notatki na ten temat
- Lokalny LLM Lokalny LLM w firmie, na Twoim sprzęcie.
- 2026-10-27 Atencja od strony jądra: FlashAttention, softmax online i połączona dekwantyzacja
- 2026-10-27 Cache prefiksu: ponowne użycie cache KV między turami i zapytaniami
- 2026-10-27 Co naprawdę zapisuje Q4_K_M: kwantyzacja wag od podstaw
- 2026-10-27 Continuous batching i PagedAttention: serwowanie dla wielu użytkowników z jednego GPU
- 2026-10-27 Dekodowanie ogranicza pamięć: sufit ~59 tok/s na RTX 4090 i jak przebija go dekodowanie spekulatywne
- 2026-10-27 Grafy CUDA w dekodowaniu LLM: narzut uruchamiania jąder i dlaczego zmiany kształtów kosztują
Sprawdzenie zakresu
Nie zatrudniaj mnie do tego, jeśli
Masz mały wolumen i nic nie blokuje wysyłania danych do API. API wyjdzie taniej.
Masz taki problem?
Opisz swój problem30-minutowa rozmowa techniczna z inżynierem, który to buduje. Bez działu sprzedaży, bez slajdów.