Trefon.
L3 Harnessy / ewaluacje

Wiedz, czy agent działa, zanim dowiedzą się klienci.

Agent, który zalicza demo i oblewa prawdziwe zgłoszenia, to nie problem z modelem. To problem z brakiem pomiaru. Buduję zestaw ewaluacji z Twoich prawdziwych przypadków, naprawiam to, co ujawni w harnessie, i podpinam go do CI, żeby kolejna aktualizacja modelu nie zepsuła go po cichu.

Opisz swój problem Zobacz leaderboard

49

scenariuszy w 10 zestawach

+52,5

punktu po naprawach harnessu

10

modeli w jednym harnessie

§01 objaw

Jak to zwykle wygląda.

Demo zalicza, produkcja nie.

Twój zestaw testowy to pięć promptów, które sam napisałeś. Prawdziwe zgłoszenia są dłuższe, brudniejsze i pełne wywołań narzędzi, których demo nigdy nie zrobiło.

Każda aktualizacja modelu to zakład.

Zmieniasz model, sprawdzasz kilka odpowiedzi i liczysz na szczęście. Nic nie mówi, czy zmienił się odsetek zaliczeń, dyscyplina narzędzi albo opóźnienia.

Agent wpada w pętlę i nikt nie wie dlaczego.

Powtarzane wywołania narzędzi, zgubiony kontekst, ponowienie, które się nie kończy. Bez śladów i wyników na poziomie scenariusza naprawa jest zgadywaniem.

§02 co zmieniam

Co zmienia oceniany harness.

  1. 01

    Zestaw scenariuszy z Twoich przypadków

    Zamieniam prawdziwe zgłoszenia, transkrypty i raporty błędów w oceniane scenariusze ze znanym poprawnym wynikiem, także te brzydkie.

  2. 02

    Wynik, którego możesz bronić

    Poprawność, efektywność, odporność i trzymanie się promptu, ważone istotnością przypadku. Jedna liczba na przebieg, z dołączonymi porażkami.

  3. 03

    Naprawy harnessu

    Obsługa ścieżek, parsowanie wywołań narzędzi, ponowienia, zarządzanie kontekstem, bezpieczniki pętli. Benchmark zwykle znajduje błędy w harnessie, zanim znajdzie je w modelu.

  4. 04

    Bramka w CI

    Każda zmiana promptu, narzędzia albo modelu uruchamia zestaw. Regresja wywala build, zamiast trafić do klienta.

  5. 05

    Ślady, które da się czytać

    Każdy scenariusz zachowuje transkrypt i wywołania narzędzi, więc porażkę można zdiagnozować, a nie o niej dyskutować.

§03 zmierzone dowody

Liczby z moich własnych przebiegów.

fig. 01 amber-bench, wersje harnessu · Qwopus3.6-27B
  • v2 769,1 · 39/43
  • v3 821,6 · 41/43
Ten sam model, te same scenariusze. Zmienił się tylko harness. Oś 700–1000.

49scenariuszy

w 10 zestawach, jeden slot GPU

+52,5punktu

z trzech błędów harnessu, ten sam model

769,1 → 821,6

harness v2 do v3, Qwopus3.6-27B

0GPU

potrzebne w hermetycznym trybie CI

Źródło: amber-bench: 49 scenariuszy, jedna RTX 4090; tryb hermetyczny działa w CI z fałszywym modelem.

§04 co dostajesz

Co dostajesz.

  • Zestaw ewaluacji zbudowany z Twoich przypadków, wersjonowany razem z kodem
  • Kartę wyników na przebieg: zaliczenia, zmarnowane wywołania, pętle, opóźnienia
  • Naprawy harnessu, ze scenariuszem, który je ujawnił
  • Bramkę w CI i runbook do dodawania nowych przypadków

Matematyka pod spodem.

Wszystkie artykuły
§05 odpowiedzi

O co pytają najczęściej.

Ile przypadków testowych potrzebujemy?

Tyle, żeby pokryć zadania, które agent naprawdę wykonuje, a nie każde zdanie, które użytkownik może wpisać. Zaczynam od 30–50 scenariuszy w głównych procesach i trybach awarii, potem rozwijam zestaw z produkcyjnych porażek. amber-bench używa 49.

Czy ocenicie agenta, którego kupiliśmy?

Tak. Jeśli ma API albo interfejs, który da się sterować, da się go ocenić. Harness zostaje u Ciebie, więc możesz go uruchomić ponownie, gdy dostawca wyda nową wersję.

Czy potrzebujemy GPU?

Nie dla harnessu. Dla lokalnych modeli jedna karta wystarcza, żeby przebiec zestaw sekwencyjnie. Tryb hermetyczny działa z fałszywym modelem w CI, więc pipeline jest testowany bez sprzętu.

Czy to powie nam, który model wybrać?

Powie, który model zalicza Twoje przypadki przy akceptowalnej dyscyplinie narzędzi i opóźnieniach. To lepsza odpowiedź niż publiczny leaderboard, który mierzy cudze zadania.

Ile to trwa?

Pierwszy oceniany zestaw to zwykle dwa do trzech tygodni. Bramka w CI i przekazanie dodają tydzień.

Wypuszczasz agenta, którego nie umiesz zmierzyć?

Opisz swój problem

30-minutowa rozmowa techniczna z inżynierem, który to buduje. Bez działu sprzedaży, bez slajdów.