RubricForge: rubryki AI ograniczają błędy oceny agentów

Badacze zaprezentowali RubricForge — nowe podejście do oceny agentów AI, które ma ograniczyć zjawisko „nadmiernego kredytowania” nieudanych działań przez modele-sędziów. Praca, opublikowana na arXiv 25 czerwca 2026 roku przez zespół w składzie Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly i Cormac Sheehan, dotyczy fundamentalnego problemu w ewaluacji agentów językowych: jak ocenić, czy agent naprawdę wykonał zadanie, gdy dostęp do prawdziwego środowiska i jego nagrody jest kosztowny, wolny lub po wdrożeniu niedostępny.

Kluczowe wnioski

• RubricForge tworzy tekstowe kryteria oceny agenta (rubrykę) na podstawie niewielkiego zbioru trajektorii oznaczonych prawdziwymi wynikami, a nie na ręcznie pisanych regułach czy dotrenowanych wagach modelu.
• System wykorzystuje „reflective evolution” — iteracyjne dopracowywanie rubryki tak, by maksymalizowała zgodność z nagrodą ze środowiska, po czym zamraża wynikowy tekst i stosuje go do nowych, nieoglądanych wcześniej trajektorii bez dostępu do środowiska.
• Na benchmarku tau-bench RubricForge popełnia błąd fałszywego zaliczenia (false-pass) w 11,5% przypadków wobec 17,3% dla generycznego sędziego G-Eval — czyli nadmiernie kredytuje porażki niemal dwukrotnie rzadziej.
• Na benchmarku WebShop RubricForge trafniej porządkuje stopniowane wyniki zadań (korelacja Spearmana 0,410 wobec 0,370 dla G-Eval).
• Ogólna zgodność z ludzką/środowiskową oceną nie różni się statystycznie istotnie od G-Eval (test McNemara, p = 0,248), a kalibracja ocen punktowych nawet nieznacznie sprzyja generycznemu sędziemu (różnica |err| = -0,048, p = 2×10⁻⁴).

Problem z automatycznymi sędziami agentów AI

Ocena agentów opartych na dużych modelach językowych w dużej skali coraz częściej opiera się na drugim modelu językowym jako automatycznym sędzi. Powód jest prosty: prawdziwy sygnał sukcesu, czyli nagroda z wykonywalnego środowiska, jest kosztowny obliczeniowo, wolny w generowaniu albo po wdrożeniu produkcyjnym całkowicie niedostępny. Model-sędzia działa więc jako proxy bez dostępu do nagrody — jego wartość zależy od tego, czy można mu ufać.

Autorzy wskazują, że dotychczasowe podejścia do budowy takich sędziów mają wspólną słabość. Metody typu G-Eval opierają się na ręcznie napisanych rubrykach oceny, inne podejścia dotrenowują wagi samego modelu-sędziego. Obie rodziny metod, jak podaje badanie, mają tendencję do przyznawania zaliczenia trajektoriom, które są płynne językowo i sprawiają wrażenie kompetentnych, ale w rzeczywistości nie doprowadziły do sukcesu zadania. To zjawisko autorzy nazywają „over-crediting” — nadmiernym kredytowaniem porażek jako sukcesów.

Jak działa RubricForge

Zamiast pisać rubrykę ręcznie lub dotrenowywać wagi modelu, zespół zaproponował indukowanie treści rubryki oceniającej agenta bezpośrednio z małego zbioru trajektorii oznaczonych prawdziwymi etykietami (ground truth). Dzięki temu rubryka jest zakotwiczona w rzeczywistych wynikach, a nie w intuicji projektanta.

RubricForge ewoluuje rubrykę poprzez proces refleksyjnej ewolucji, porównując kolejne wersje z oznaczonymi trajektoriami tak, by maksymalizować zgodność z nagrodą środowiska. Po zakończeniu tego procesu rubryka jest zamrażana i stosowana do trajektorii wstrzymanych (held-out) w ramach jednego wywołania modelu, bez jakiegokolwiek dostępu do środowiska w momencie oceny. Kluczową zaletą jest to, że powstały artefakt to czytelny dla człowieka tekst — każdy werdykt można przypisać do konkretnego, nazwanego kryterium, co daje przejrzystość niedostępną w podejściach opartych na dotrenowanych wagach modelu.

W eksperymentach zespół użył jednego zamrożonego modelu 7B jednocześnie jako agenta i jako sędziego. Testy przeprowadzono na dwóch benchmarkach: tau-bench, z 173 oznaczonymi trajektoriami wybranymi z 220 przebiegów (rollouts), oraz WebShop, z 160 trajektoriami.

Znaczenie dla wiarygodnej ewaluacji agentów

Wyniki pokazują wyraźny podział między dwoma wymiarami jakości sędziego: ogólną zgodnością z oceną referencyjną a wiarygodnością (faithfulness) w unikaniu błędów fałszywego zaliczenia. Przewaga RubricForge nad generycznym G-Eval w kategorii surowej zgodności nie jest statystycznie istotna, a kalibracja ocen punktowych nawet lekko przemawia na korzyść G-Eval. Jednak w kluczowym z praktycznego punktu widzenia wymiarze — częstości fałszywych zaliczeń — RubricForge wypada wyraźnie lepiej: na tau-bench błąd ten wystąpił w 11,5% przypadków wobec 17,3% dla G-Eval, przy trzech przypadkach wychwycenia nadmiernego kredytowania i zero przypadkach odwrotnych (reversals).

Autorzy podkreślają, że dla sędziego działającego bez dostępu do nagrody środowiska to właśnie wskaźnik fałszywych zaliczeń, a nie zbiorcza zgodność, jest wielkością istotną z punktu widzenia wdrożenia produkcyjnego. Fałszywe zaliczenie oznacza wypuszczenie na produkcję agenta, który w rzeczywistości nie działa poprawnie — czyli błąd o poważnych konsekwencjach. Fałszywe niezaliczenie kosztuje jedynie ponowną próbę. To rozróżnienie wpisuje się w szerszy trend badań nad rzetelnością systemów AI oceniających inne systemy AI, podobny do problematyki poruszanej w testach rzetelności LLM jako współnaukowców w ramach IntegrityBench czy w pracach nad mechanizmami kontroli treści generowanych przez AI bez konieczności ich pełnej oceny.

Praca dostarcza istotnego argumentu dla całej branży zajmującej się ewaluacją agentów AI: metryka sukcesu powinna być dobierana pod kątem realnego ryzyka wdrożenia, a nie samej maksymalizacji zgodności statystycznej z referencyjną oceną.

Podsumowanie

RubricForge pokazuje, że rubryki oceny agentów AI zakotwiczone w prawdziwych wynikach mogą wprawdzie nie przewyższać generycznych metod pod względem ogólnej zgodności, ale wyraźnie ograniczają najbardziej ryzykowny błąd — fałszywe zaliczanie nieudanych działań agenta jako sukcesów, redukując go blisko dwukrotnie na benchmarku tau-bench.