https://www.trefon.com/pl/notatki/Techniczne artykuły o inferencji LLM, trenowaniu modeli i harnessach agentowych: cache KV, kwantyzacja, atencja, dekodowanie spekulatywne, RL, ewaluacje.pl-PLhttps://www.trefon.com/pl/notatki/flashattention-online-softmax/https://www.trefon.com/pl/notatki/flashattention-online-softmax/Tue, 27 Oct 2026 08:00:00 GMTAtencja to trzy linijki matematyki i jeden duży problem z pamięcią. Jak softmax online sprawia, że kafelkowanie jest dokładne, czego FlashAttention nigdy nie zapisuje do pamięci, dlaczego atencja przy dekodowaniu to strumień po cache KV i dlaczego skwantyzowany cache opłaca się tylko z dekwantyzacją wbudowaną w jądro.deep diveatencjaFlashAttentionCUDAcache KVhttps://www.trefon.com/pl/notatki/attention-is-all-you-need/https://www.trefon.com/pl/notatki/attention-is-all-you-need/Tue, 27 Oct 2026 08:00:00 GMTPraca Google z 2017 roku, która wprowadziła transformer: z jakim problemem miała się uporać, co naprawdę zaproponowała (skalowaną atencję iloczynu skalarnego, atencję wieloglowicową, sinusoidalne kodowania pozycyjne, encoder-decoder do tłumaczenia), jakie liczby podała, co zmieniły późniejsze modele i jak praca o tłumaczeniu stała się podstawą współczesnej AI.deep divetransformeratencjaarchitekturahistoriahttps://www.trefon.com/pl/notatki/prefix-caching-kv-reuse/https://www.trefon.com/pl/notatki/prefix-caching-kv-reuse/Tue, 27 Oct 2026 08:00:00 GMTAgenci przy każdej turze wysyłają całą rozmowę od nowa. Cache prefiksu (prefix caching) pomija część, którą serwer już policzył, a README forka podaje, że czas tury z długim kontekstem spada z ~46 s do ~460 ms. Jak działa, co go psuje i dlaczego modele hybrydowe potrzebują checkpointów.deep divecache prefiksucache KVagenciinferencjahttps://www.trefon.com/pl/notatki/q4-k-m-quantization-explained/https://www.trefon.com/pl/notatki/q4-k-m-quantization-explained/Tue, 27 Oct 2026 08:00:00 GMTQ4_K_M bajt po bajcie, prosto ze źródeł ggml: superbloki po 256 wag, 6-bitowe skale i minima, które tensory dostają Q6_K i dlaczego, ile kosztuje wartość odstająca i gdzie wchodzi obrót. Do tego rozmiar i szybkość modelu 27B w każdym k-quancie.deep divekwantyzacjaGGUFllama.cpphttps://www.trefon.com/pl/notatki/continuous-batching-pagedattention/https://www.trefon.com/pl/notatki/continuous-batching-pagedattention/Tue, 27 Oct 2026 08:00:00 GMTDlaczego batching jest prawie darmowy przy dekodowaniu ograniczonym pamięcią, gdzie przestaje być darmowy, dlaczego partię ogranicza pamięć KV, a nie obliczenia, i co kolejno naprawiają continuous batching, PagedAttention i chunked prefill. Policzone na modelu 27B na jednej RTX 4090.deep divebatchingPagedAttentionserwowanieinferencjahttps://www.trefon.com/pl/notatki/deepseek-architecture-moment/https://www.trefon.com/pl/notatki/deepseek-architecture-moment/Tue, 27 Oct 2026 08:00:00 GMTJak chińskie laboratorium na GPU objętych ograniczeniami eksportowymi wytrenowało otwarty model na poziomie czołówki i dlaczego w jednym tygodniu stycznia 2025 Nvidia straciła setki miliardów dolarów wartości rynkowej. Multi-head latent attention (MLA) i jej 57× mniejszy cache, drobnoziarniste MoE ze współdzielonymi modułami eksperckimi, równoważenie obciążenia bez pomocniczej funkcji straty, predykcja wielu tokenów (MTP), trening w FP8 i rozumowanie R1 wyuczone czystym RL.deep diveDeepSeekMoEarchitekturaRLhttps://www.trefon.com/pl/notatki/decode-memory-bound-speculative/https://www.trefon.com/pl/notatki/decode-memory-bound-speculative/Tue, 27 Oct 2026 08:00:00 GMTSzybkość dekodowania jednego strumienia wyznacza przepustowość pamięci, nie FLOPS-y. Sufit przepustowości dla modelu 17 GB na 4090, matematyka dekodowania spekulatywnego i MTP, kompromis między głębokością szkicu a akceptacją i dlaczego sampler szkicu ma znaczenie.deep diveinferencjadekodowanie spekulatywneMTPCUDAhttps://www.trefon.com/pl/notatki/constrained-decoding-grammars-json/https://www.trefon.com/pl/notatki/constrained-decoding-grammars-json/Tue, 27 Oct 2026 08:00:00 GMTJak silniki gwarantują poprawne wyjście, maskując logity: automaty skończone dla formatów regularnych, automaty ze stosem dla zagnieżdżonego JSON-a, dlaczego tokeny i symbole gramatyki się nie pokrywają, ile to kosztuje na krok i dlaczego zbyt wczesne ograniczenie może pogorszyć rozumowanie modelu.deep divedekodowanie z ograniczeniamiJSONwywołania narzędzillama.cpphttps://www.trefon.com/pl/notatki/distillation-kl-on-policy/https://www.trefon.com/pl/notatki/distillation-kl-on-policy/Tue, 27 Oct 2026 08:00:00 GMTJak mały model uczy się od dużego: miękkie cele i czynnik T², KL w przód kontra KL wsteczna i dlaczego kierunek ma znaczenie, destylacja na poziomie sekwencji kontra na logitach, koszt przechowywania logitów nauczyciela i dlaczego destylacja on-policy naprawia własne błędy ucznia.deep divedestylacjatreningdywergencja KLhttps://www.trefon.com/pl/notatki/cuda-graphs-decode/https://www.trefon.com/pl/notatki/cuda-graphs-decode/Tue, 27 Oct 2026 08:00:00 GMTKrok dekodowania to setki małych jąder, a uruchomienie każdego z nich kosztuje czas CPU. Jak grafy CUDA przechwytują i odtwarzają krok, dlaczego rosnący cache KV ciągle je unieważnia i co w moim forku zmieniło podniesienie minimum dopełnienia KV do 4096.deep diveCUDAinferencjallama.cpphttps://www.trefon.com/pl/notatki/training-cost-6nd-memory/https://www.trefon.com/pl/notatki/training-cost-6nd-memory/Tue, 27 Oct 2026 08:00:00 GMTRachunek kosztu treningu na serwetce, któremu można ufać: reguła 6ND dla obliczeń, co Chinchilla mówi o liczbie tokenów na parametr, dlaczego Adam kosztuje 16 bajtów na parametr i na co idzie pamięć aktywacji. Policzone dla modelu 125M, modelu 1B i fine-tuningu modelu 4,5B na jednej RTX 4090.deep divetreningprawa skalowaniaGPUhttps://www.trefon.com/pl/notatki/kv-cache-math/https://www.trefon.com/pl/notatki/kv-cache-math/Tue, 27 Oct 2026 08:00:00 GMTWagi to koszt stały; cache KV rośnie z każdym tokenem i decyduje, co się zmieści. Rozmiar na token od podstaw, policzony na modelu 27B przy kontekście 262K, dlaczego klucze trudniej skwantyzować niż wagi i dlaczego 3 bity to oś ryzyka.deep divecache KVkwantyzacjaatencjallama.cpphttps://www.trefon.com/pl/notatki/lora-qlora-math/https://www.trefon.com/pl/notatki/lora-qlora-math/Tue, 27 Oct 2026 08:00:00 GMTAdaptacja niskiego rzędu od podstaw, czyli od macierzy: ile parametrów naprawdę trenuje adapter rzędu 16, co robi alfa, dlaczego pełny fine-tuning modelu 7B wymaga ponad 100 GB, a QLoRA mieści model bazowy 27B w 14 GB, oraz w czym LoRA jest dobra, a w czym słaba.deep diveLoRAQLoRAfine-tuningtreninghttps://www.trefon.com/pl/notatki/sampling-temperature-top-p-min-p/https://www.trefon.com/pl/notatki/sampling-temperature-top-p-min-p/Tue, 27 Oct 2026 08:00:00 GMTCo każdy sampler robi z rozkładem prawdopodobieństwa, policzone na prawdziwych liczbach: temperatura, top-k, top-p, min-p i kary za powtórzenia. Dlaczego kolejność w łańcuchu ma znaczenie, dlaczego kary psują kod i JSON oraz jak ustawienia próbkowania odbijają się na pętlach agentów i szybkości dekodowania.deep divepróbkowanieinferencjaagencihttps://www.trefon.com/pl/notatki/rag-retrieval-math/https://www.trefon.com/pl/notatki/rag-retrieval-math/Tue, 27 Oct 2026 08:00:00 GMTWyszukiwanie decyduje o tym, co model dostaje do przeczytania, i to tam RAG zawodzi najczęściej. Podobieństwo cosinusowe i co daje normalizacja, ile pamięci kosztuje milion fragmentów przy każdej precyzji, jak HNSW wymienia recall na szybkość, dlaczego wygrywa hybrydowe połączenie BM25 z wyszukiwaniem gęstym i kiedy reranker jest wart swojego kosztu.deep diveRAGembeddingiwyszukiwaniewyszukiwarkahttps://www.trefon.com/pl/notatki/mcp-under-the-hood/https://www.trefon.com/pl/notatki/mcp-under-the-hood/Tue, 27 Oct 2026 08:00:00 GMTModel Context Protocol na łączu: wiadomości JSON-RPC 2.0, handshake initialize i negocjacja możliwości, narzędzia, zasoby i prompty, stdio kontra Streamable HTTP, ile kontekstu kosztuje każdy schemat narzędzia i model bezpieczeństwa, który musisz zapewnić sam.deep diveMCPagenciharnessyJSON-RPChttps://www.trefon.com/pl/notatki/matmul-tensor-cores-accelerators/https://www.trefon.com/pl/notatki/matmul-tensor-cores-accelerators/Tue, 27 Oct 2026 08:00:00 GMTPrawie cała arytmetyka LLM to mnożenie macierzy. Ile FLOP-ów i bajtów kosztuje matmul, model roofline i punkt załamania (ridge point) prawdziwych GPU, po co istnieje kafelkowanie, jak rdzenie tensorowe i macierze systoliczne sprzętowo wykonują obliczenia macierzowe i dlaczego formaty liczbowe ciągle się kurczą.deep diveGPUrdzenie tensorowematmulsprzęthttps://www.trefon.com/pl/notatki/dense-vs-moe/https://www.trefon.com/pl/notatki/dense-vs-moe/Tue, 27 Oct 2026 08:00:00 GMTPorównanie na poziomie architektury: jak router wybiera moduły eksperckie, dlaczego najtrudniejsze jest równoważenie obciążenia, współczynniki pojemności i odrzucone tokeny, jaka część każdego modelu naprawdę pracuje na token (od 28% w Mixtralu do 5,5% w DeepSeek-V3), co MoE daje w obliczeniach treningowych i ile kosztuje w pamięci, komunikacji i zachowaniu agentów.deep diveMoEarchitekturatreninghttps://www.trefon.com/pl/notatki/diffusion-models-explained/https://www.trefon.com/pl/notatki/diffusion-models-explained/Tue, 27 Oct 2026 08:00:00 GMTJak modele dyfuzyjne generują, ucząc się usuwać szum: proces w przód w jednym wzorze, dlaczego celem treningu jest przewidywanie szumu, jak próbkowanie zeszło z 1000 kroków do kilku, classifier-free guidance (CFG), 48-krotna kompresja w dyfuzji latentnej, szkielety oparte na transformerach i flow matching oraz dyfuzja dla tekstu.deep divedyfuzjamodele generatywnearchitekturahttps://www.trefon.com/pl/notatki/hybrid-gated-deltanet-linear-attention/https://www.trefon.com/pl/notatki/hybrid-gated-deltanet-linear-attention/Tue, 27 Oct 2026 08:00:00 GMTAtencja liniowa zamienia cache KV w stan o stałym rozmiarze. Reguła delta naprawia to, że taki stan źle zapomina, a bramkowanie dodaje zanik. Dlaczego hybrydy zachowują kilka warstw z pełną atencją i co stan rekurencyjny zmienia przy ponownym użyciu prefiksu, wycofywaniu przy dekodowaniu spekulatywnym i w długich sesjach.deep diveGated DeltaNetatencja liniowaarchitekturacache KVhttps://www.trefon.com/pl/notatki/moe-single-gpu/https://www.trefon.com/pl/notatki/moe-single-gpu/Tue, 27 Oct 2026 08:00:00 GMTW modelu MoE wszystkie parametry kosztują pamięć, a aktywne kosztują przepustowość. Co to oznacza na jednej karcie 24 GB, jak offload modułów eksperckich do systemowej pamięci RAM zmienia sufit, dlaczego batching pomaga MoE mniej niż modelom dense i jak MoE wypadł w moim benchmarku agentowym.deep diveMoEinferencjallama.cpphttps://www.trefon.com/pl/notatki/rl-ppo-dpo-grpo/https://www.trefon.com/pl/notatki/rl-ppo-dpo-grpo/Tue, 27 Oct 2026 08:00:00 GMTCo optymalizuje uczenie ze wzmocnieniem po fine-tuningu, zapisane wprost jako funkcje celu: przycięta funkcja zastępcza PPO na smyczy KL, funkcja straty DPO na preferencjach bez modelu nagrody i przewaga GRPO liczona względem grupy, bez krytyka. Do tego policzony przykład GRPO i to, dlaczego weryfikowalne nagrody zmieniły reguły gry w kodowaniu.deep diveRLGRPODPOtreninghttps://www.trefon.com/pl/notatki/rope-yarn-long-context/https://www.trefon.com/pl/notatki/rope-yarn-long-context/Tue, 27 Oct 2026 08:00:00 GMTJak rotacyjne embeddingi pozycji kodują pozycję jako obrót, co długość fali każdego wymiaru oznacza dla długiego kontekstu i jak interpolacja pozycji, skalowanie NTK-aware i YaRN rozciągają model trenowany na 32K w stronę 262K.deep diveRoPEdługi kontekstatencjahttps://www.trefon.com/pl/notatki/reasoning-chain-of-thought/https://www.trefon.com/pl/notatki/reasoning-chain-of-thought/Tue, 27 Oct 2026 08:00:00 GMTOd „let's think step by step” do modeli trenowanych do myślenia: dlaczego zapisywanie kroków pośrednich dodaje obliczenia, których transformer nie wykona w jednym przebiegu, jak samospójność i RL zamieniły to w obliczenia w czasie inferencji, ile sekund kosztuje budżet myślenia 8192 tokenów, czy widoczne rozumowanie jest wierne i co to zmienia dla agentów.deep diverozumowaniełańcuch myśliRLagencihttps://www.trefon.com/pl/notatki/rnn-lstm-to-linear-attention/https://www.trefon.com/pl/notatki/rnn-lstm-to-linear-attention/Tue, 27 Oct 2026 08:00:00 GMTCzęść 4 serii o architekturach. Aktualizacja rekurencyjna, dlaczego gradienty zanikają albo eksplodują przy długich sekwencjach (0,9¹⁰⁰ to 2,7 × 10⁻⁵), jak naprawiły to bramki LSTM, dlaczego transformery i tak zastąpiły sieci RNN i jak modele przestrzeni stanów oraz atencja liniowa przywróciły rekurencję o stałym zużyciu pamięci do dzisiejszych hybrydowych LLM.deep diveRNNLSTMarchitekturaatencja liniowahttps://www.trefon.com/pl/notatki/agent-eval-statistics/https://www.trefon.com/pl/notatki/agent-eval-statistics/Tue, 27 Oct 2026 08:00:00 GMTRankingi szeregują modele na podstawie kilku punktów różnicy; szum jest zwykle większy. Przedziały ufności dla odsetków zaliczeń, policzone na moim własnym benchmarku z 49 scenariuszami, ile scenariuszy trzeba, żeby odróżnić dwa modele, dlaczego testy sparowane są warte zachodu i dlaczego u agentów pass^k wygrywa z pass@k.deep diveewaluacjestatystykaagencibenchmarkihttps://www.trefon.com/pl/notatki/tokenizers-bpe-byte-level/https://www.trefon.com/pl/notatki/tokenizers-bpe-byte-level/Tue, 27 Oct 2026 08:00:00 GMTJak BPE buduje słownik ze scaleń, dlaczego BPE na poziomie bajtów nigdy nie zawodzi na nieznanym tekście, ile rozmiar słownika kosztuje w parametrach, a ile oszczędza na długości sekwencji, dlaczego polski i kod kosztują więcej tokenów niż angielska proza i na jakim etapie są modele na poziomie bajtów bez tokenizera.deep divetokenizerBPEpoziom bajtówhttps://www.trefon.com/pl/notatki/decoder-only-transformer/https://www.trefon.com/pl/notatki/decoder-only-transformer/Tue, 27 Oct 2026 08:00:00 GMTCzęść 1 serii o architekturach. Blok przyczynowy, z którego zbudowane są GPT, Llama, Qwen i Gemma: maskowana self-attention, MLP, połączenia rezydualne i normalizacje, gdzie są parametry (12·d² na warstwę, sprawdzone na GPT-2), dlaczego jeden stos obsługuje i prompt, i generowanie, oraz dlaczego ta konstrukcja wygrała.deep divetransformerarchitekturadecoder-onlyhttps://www.trefon.com/pl/notatki/encoder-decoder-transformer/https://www.trefon.com/pl/notatki/encoder-decoder-transformer/Tue, 27 Oct 2026 08:00:00 GMTCzęść 3 serii o architekturach. Pierwotny układ transformera: enkoder, który czyta wejście w obu kierunkach, dekoder, który pisze, sięgając do niego przez cross-attention, span corruption w T5, dokąd trafiają dodatkowe parametry i dlaczego ta konstrukcja wciąż wygrywa w przetwarzaniu mowy, tłumaczeniu i innych zadaniach, w których wejście jest wielokrotnie dłuższe od wyjścia.deep divetransformerarchitekturaT5Whisperhttps://www.trefon.com/pl/notatki/encoder-only-transformer/https://www.trefon.com/pl/notatki/encoder-only-transformer/Tue, 27 Oct 2026 08:00:00 GMTCzęść 2 serii o architekturach. Dwukierunkowa atencja, cel treningowy maskowanego modelowania języka (MLM) z regułą 80/10/10, dlaczego enkodery nie potrafią generować, ale nadal są właściwym narzędziem do klasyfikacji, embeddingów i rerankerów, oraz co zmieniły współczesne enkodery, takie jak ModernBERT.deep divetransformerarchitekturaBERTembeddingihttps://www.trefon.com/pl/notatki/agent-context-management/https://www.trefon.com/pl/notatki/agent-context-management/Tue, 27 Oct 2026 08:00:00 GMTKontekst 262K to nie licencja na wrzucanie do niego wszystkiego. Każdy token kontekstu kosztuje szybkość na każdym kroku. Jak budżetować kontekst agenta, przycinać wyjście narzędzi bez utraty sygnału, kompaktować historię bez psucia cache prefiksu, izolować pracę w subagentach i wykrywać pętle, zanim przepalą budżet.deep diveagencikontekstharnessyhttps://www.trefon.com/pl/notatki/amber-bench-harness-not-model/https://www.trefon.com/pl/notatki/amber-bench-harness-not-model/Mon, 26 Oct 2026 08:00:00 GMTRanking modeli nie powie Ci, czy Twoja pętla agenta jest zepsuta. Zbudowałem benchmark, który ocenia harness i model jako parę. Pierwsze, co znalazł, to błędy w moim własnym harnessie.harnessyewaluacjeC++amberhttps://www.trefon.com/pl/notatki/llama-cpp-turboq-262k-rtx-4090/https://www.trefon.com/pl/notatki/llama-cpp-turboq-262k-rtx-4090/Mon, 26 Oct 2026 08:00:00 GMTSilnik już trzymał 4,125-bitowy cache KV wewnątrz flash attention. Żeby agenci kodujący mogli na nim pracować cały dzień, potrzebne były asynchroniczne checkpointy, mniej przechwyceń grafu CUDA, seria poprawek MTP i strojenie samplera warte +31%.inferencjallama.cppCUDAMTPcache KV