Rozumowanie i łańcuch myśli: dlaczego myślenie w tokenach działa i ile kosztuje

W 2022 roku badacze odkryli, że gdy poprosi się model o pokazanie toku rozumowania, radzi sobie z matematyką radykalnie lepiej. Dwa lata później modele trenowano już tak, żeby robiły to samodzielnie i obszernie, a „model rozumujący” stał się kategorią produktów. Moja maszyna do inferencji działa z włączonym rozumowaniem i budżetem myślenia 8192 tokenów. Poniżej o tym, dlaczego ta sztuczka działa i ile naprawdę kosztuje.

Od sztuczki z promptem do odkrycia

• Prompting z łańcuchem myśli (chain of thought) (Wei i in., 2022): umieść w prompcie przykłady z rozpisanymi krokami pośrednimi, a model przed odpowiedzią wypisuje własne kroki. Na benchmarku matematycznym GSM8K podniosło to wynik PaLM 540B z 17,9% do 56,9%.
• Łańcuch myśli zero-shot (Kojima i in., 2022): przykłady nie są potrzebne. Samo dopisanie „Let’s think step by step” („Pomyślmy krok po kroku”) dawało duże zyski.
• Samospójność (self-consistency) (Wang i in., 2022): wylosuj kilka łańcuchów rozumowania i wybierz odpowiedź większości. Różne drogi do tej samej odpowiedzi są przesłanką, że jest poprawna, a dokładność znów wzrosła.

Efekt pojawiał się głównie w dużych modelach. Małe modele tworzyły płynne, ale błędne łańcuchy.

Dlaczego to działa: obliczenia, których nie da się wykonać w jednym przebiegu

Transformer wykonuje stałą ilość obliczeń na token: jeden przebieg przez L warstw. Niektóre problemy wymagają więcej kroków sekwencyjnych, niż zapewnia ta głębokość, na przykład wieloetapowa arytmetyka albo śledzenie stanu przez długą procedurę. Zapisywanie tokenów pośrednich daje modelowi brudnopis. Każdy wygenerowany token jest nowym wejściem do kolejnego przebiegu, więc model może przenosić wyniki pośrednie dalej i przeznaczać więcej obliczeń sekwencyjnych na trudniejsze problemy.

Potwierdzają to prace teoretyczne. Transformery z pośrednimi krokami rozumowania potrafią radzić sobie z klasami problemów, które, jak udowodniono, są poza zasięgiem transformerów o stałej głębokości (Feng i in., 2023; Merrill i Sabharwal, 2023). Łańcuch myśli nie polega na tym, że model „pokazuje” swoje myślenie; w dużej mierze jest tym myśleniem.

Trenowanie modeli do myślenia

Kolejnym krokiem było przestać prosić o rozumowanie i zacząć trenować pod nie. Model o1 od OpenAI (wrzesień 2024) wytrenowano uczeniem ze wzmocnieniem tak, żeby przed odpowiedzią tworzył długie wewnętrzne łańcuchy. OpenAI podało, że dokładność nadal rosła zarówno z większą ilością treningu RL, jak i z dłuższym czasem myślenia przy inferencji. To obliczenia w czasie inferencji (test-time compute) jako oś skalowania, obok parametrów i danych.

DeepSeek-R1 (styczeń 2025) opublikował otwarcie, jak to zrobić. RL z GRPO i prostymi nagrodami za poprawność sprawiło, że długie rozumowanie, samoweryfikacja i cofanie się (backtracking) wyłoniły się bez wcześniejszych demonstracji (szczegóły są w notatce o DeepSeek i w notatce o RL). Destylacja tych śladów rozumowania do małych modeli tanio przeniosła na nie dużą część tej umiejętności.

Ile kosztuje myślenie

Tokeny myślenia to zwykłe tokeny dekodowania. Powstają po jednym, z prędkością, którą ogranicza pamięć (sufit wyjaśnia notatka o dekodowaniu). Budżet myślenia 8192 tokenów kosztuje, zanim w ogóle zacznie się odpowiedź:

Szybkość dekodowania	Czas zużycia 8192 tokenów myślenia
82 tok/s (moja maszyna w szczycie)	~100 s
50 tok/s	~164 s
30 tok/s	~273 s

Myślenie zapełnia też cache KV i okno kontekstu. A dostawcy API rozliczają tokeny rozumowania jako tokeny wyjściowe, zwykle najdroższy ich rodzaj.

Dlatego poważne wdrożenia ograniczają rozumowanie budżetem, zamiast zostawiać je bez limitu. Mój serwer produkcyjny działa z --reasoning-budget 8192. Serwer w moim forku przyjmuje też ustawienie reasoning_effort, podawane jako słowo albo surowy budżet tokenów, więc klient może dla każdego zapytania osobno poprosić o mniej myślenia na łatwych krokach i więcej na trudnych.

Czy widoczne rozumowanie jest wierne?

Bywa, ale nie można na tym polegać. Turpin i in. (2023) pokazali modele, które podawały wiarygodnie brzmiące łańcuchy myśli pomijające prawdziwy powód odpowiedzi, na przykład skrzywienie (bias) podłożone w prompcie. Późniejsze prace nad modelami rozumującymi stwierdziły to samo: ich ślady rozumowania nie zawsze wspominają o tym, co naprawdę zdecydowało o odpowiedzi. Traktuj ślady rozumowania jako przydatne, ale niezaufane. Przydają się do debugowania i często są trafne, ale nie są wiarygodnym zapisem obliczeń modelu.

Co to zmienia dla agentów

• Planowanie się poprawia. Rozumowanie przed wywołaniem narzędzia daje lepsze plany i mniej bezsensownych wywołań, zwłaszcza w zadaniach wieloetapowych.
• Opóźnienie się mnoży. Każdy krok pętli agenta płaci za swoje myślenie. Zadanie na 30 kroków z intensywnym rozumowaniem na każdym kroku trwa dużo dłużej niż to samo zadanie bez niego.
• Dyscyplina narzędzi może ucierpieć. W moim własnym benchmarku agentów wariant Qwen3.6-27B w trybie rozumowania uzyskał 723,3 wobec 816,2 dla zwykłego modelu, przy wyniku dyscypliny pętli 63,2 wobec 89,0. To jeden harness i jeden model, ale pokazuje, że więcej myślenia nie daje automatycznie lepszego agenta (reszta jest w rankingu).
• Presja formatu. Pozwól modelowi swobodnie rozumować, a potem ograniczaj tylko końcowe wywołanie narzędzia (jak to zrobić, opisuje notatka o dekodowaniu z ograniczeniami).

Zasady, których się trzymam

1. Przydzielaj budżet rozumowania na krok, a nie na sesję. Łatwe kroki dostają mało albo nic; kroki planowania i debugowania dostają więcej.
2. Nie trzymaj starego rozumowania w kontekście. Dawne bloki myślenia zwykle dodają koszt i szum w kolejnych turach; zachowuj wnioski, wyrzucaj ślady.
3. Mierz liczbę udanych zadań na minutę, a nie samą dokładność w benchmarku, gdy wybierasz ustawienie rozumowania dla agenta.
4. Nie traktuj śladów rozumowania jako wiarygodnych wyjaśnień. Weryfikuj wyjścia, a nie historię, którą model o nich opowiada.

Źródła: Wei i in., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022). Kojima i in., Large Language Models are Zero-Shot Reasoners (2022). Wang i in., Self-Consistency Improves Chain of Thought Reasoning (2022). Feng i in., Towards Revealing the Mystery behind Chain of Thought (2023). Merrill i Sabharwal, The Expressive Power of Transformers with Chain of Thought (2023). OpenAI, Learning to Reason with LLMs (2024). DeepSeek-AI, DeepSeek-R1 (2025). Turpin i in., Language Models Don’t Always Say What They Think (2023). Chen i in., Reasoning Models Don’t Always Say What They Think (Anthropic, 2025). Czasy policzono z podanych szybkości dekodowania.