Trefon.
amber-bench przebieg

Lokalne modele do kodowania agentowego, zmierzone.

Większość list „najlepszych lokalnych modeli” powtarza liczby z kart modeli. To są przebiegi: dziesięć lokalnych modeli w tym samym harnessie agentowym, 49 scenariuszy, jedna RTX 4090, sekwencyjnie, jeden slot GPU. Ten sam harness i te same zadania, więc zmienia się tylko model.

lokalnych modeli
10
lokalnych modeli
scenariuszy w 10 zestawach
49
scenariuszy w 10 zestawach
RTX 4090, 24 GB
1×
RTX 4090, 24 GB
wynik ważony trudnością
/1000
wynik ważony trudnością
§01 ranking

Dziesięć modeli, jeden harness.

Populacja modeli amber-bench. Wyższy wynik i więcej zaliczeń są lepsze; mniej zmarnowanych i zbędnych wywołań jest lepsze.
# Model Wynik Zaliczone Loop-live Zmarnowane Zbędne
01 Qwen3.6-27B (dense) 816,2 44/49 89,0 146 12
02 Qwopus3.6-27B-v2-MTP 808,0 42/49 76,2 142 12
03 Gemma-4-31B 806,2 38/49 75,9 108 8
04 Gemma-4-12B Q4 780,0 37/49 75,8 120 17
05 Ornith-1.0-35B 770,0 40/49 75,6 192 43
06 Qwen3.6-27B MTP 768,8 41/49 77,1 166 17
07 Gemma-4-12B Q8 756,8 37/49 75,8 135 28
08 Qwen3.6-35B-A3B (MoE) 742,2 36/49 65,9 183 36
09 Qwen3.6-27B (pi-reasoning) 723,3 36/49 63,2 197 36
10 Ornith-1.0-9B 716,6 27/49 80,0 271 122

Populacja modeli amber-bench. Wyższy wynik i więcej zaliczeń są lepsze; mniej zmarnowanych i zbędnych wywołań jest lepsze. Paski wyniku: 700–850.

Surowe tabele i metodologia ↗ → Pełny opis github.com/jtrefon/amber ↗
§02 odpowiedzi

Co mówią liczby.

Jaki lokalny model jest najlepszy do kodowania agentowego na GPU 24 GB?

W tym przebiegu Qwen3.6-27B dense: 816,2 i 44 z 49 zaliczonych scenariuszy, z najlepszą dyscypliną pętli (89,0). Tuż za nim Qwopus3.6-27B-v2-MTP (808,0) i Gemma-4-31B (806,2). Qwen3.8-27B nie był częścią tego przebiegu.

Czy modele MoE są gorsze dla agentów?

Tutaj tak. Qwen3.6-35B-A3B uzyskał 742,2 i 65,9 w loop-live, wobec 89,0 dla dense 27B. Zrobił też 183 zmarnowane wywołania. Routing MoE i tryby rozumowania kosztują dyscyplinę narzędzi w tym harnessie.

Który model marnuje najmniej wywołań narzędzi?

Gemma-4-31B: 108 zmarnowanych i 8 zbędnych wywołań, najmniej z dziesięciu. Zalicza jednak tylko 38 z 49, więc ekonomia narzędzi i zaliczenia to osobne osie.

Czy harness ma takie znaczenie jak model?

Na tym samym modelu naprawa trzech błędów harnessu podniosła wynik z 769,1 do 821,6, czyli o 52,5 punktu. Różnica między najlepszym a najgorszym z tych dziesięciu modeli to 99,6 punktu.

§03 metodologia

Jak liczony jest wynik.

  1. 01 Każdy scenariusz dostaje 0–100 punktów z czterech składowych: poprawność (oczekiwana odpowiedź plus ukryty test), wydajność (kroki, zmarnowane i zbędne wywołania), odporność (ponowienia, naprawy, twarde zatrzymania) i trzymanie się promptu.
  2. 02 Scenariusze mają wagę trudności od 1 do 5; wynik modelu to ważona suma, przeskalowana do 1000.
  3. 03 Zestawy: kodowanie, trzymanie się promptu, refaktoryzacja, praca w terminalu, wybór narzędzi, błędy agenta, loop-live, code review, repozytorium i delegowanie.
  4. 04 Każdy model przechodzi pełny zestaw sekwencyjnie na jednym slocie GPU, przez amber, mój harness agentowy w C++.
fig. 01 amber-bench · wynik /1000
  • Qwen3.6-27B dense 816,2
  • Qwopus3.6-27B-v2-MTP 808,0
  • Gemma-4-31B 806,2
  • Gemma-4-12B Q4 780,0
  • Ornith-1.0-35B 770,0
  • Qwen3.6-27B MTP 768,8
  • Gemma-4-12B Q8 756,8
  • Qwen3.6-35B-A3B MoE 742,2
  • Qwen3.6-27B pi-reason. 723,3
  • Ornith-1.0-9B 716,6
2026-08-13 · RTX 4090 · 24 GB · oś 700–1000

Chcesz taki przebieg na swoich modelach i zadaniach?

Opisz swój problem

30-minutowa rozmowa techniczna z inżynierem, który to buduje. Bez działu sprzedaży, bez slajdów.