Nowa metoda weryfikacji agentów AI oddziela zobowiązania od wiązań w długoterminowych systemach

Badacze z dziedziny sztucznej inteligencji opracowali nową metodę weryfikacji agentów AI działających w długich horyzontach czasowych. Praca autorstwa Mohsena Arjmandiego, opublikowana na arXiv, prezentuje rozwiązanie fundamentalnego problemu: jak zweryfikować agenta AI, gdy nie można ufać jego własnym raportom o stanie?

Badanie wprowadza koncepcję „instrumentu samoweryfikującego”, który oddziela weryfikację od post hoc analizy, czyniąc ją częścią struktury samego systemu. Choć testowany system osiągnął zero ukończeń zadań na benchmarku ARC-AGI-3, autorzy celowo ujawnili tę informację jako „strukturalny defeater”, koncentrując się na metodologii weryfikacji.

Kluczowe wnioski

• Nowy instrument weryfikacyjny wykorzystuje deterministyczny moduł wykonawczy (Executive), który jest właścicielem wszystkich przekonań systemu, podczas gdy model językowy może jedynie składać typowane propozycje.
• Badanie wykazało, że usunięcie mechanizmu zobowiązań (commitment) zwiększa porzucanie celów z 0,00 do 1,00, podczas gdy błędy wiązania (binding) pozostają na poziomie 0,00.
• System automatycznie unieważnia własne uruchomienia przy naruszeniu progów błędów — cztery z pierwszych ośmiu uruchomień architektury zostały unieważnione, każde lokalizując rzeczywistą wadę.
• Mechanizm „render-invisible shadow reference” kompiluje plan, który pełny system zaangażowałby się w każdej komórce ablacyjnej, umożliwiając pomiar dryfu nawet gdy testowany mechanizm został usunięty.
• Wszystkie 52 uruchomienia przeszły bramkowanie ważności, z maksymalnie 394 referencyjnymi taktami na uruchomienie i trzema nasionami na komórkę.

Architektura systemu weryfikacyjnego

Serce rozwiązania stanowi podział na dwa komponenty: deterministyczny Executive i model językowy w roli proponenta. Executive jest jedynym właścicielem przekonań systemu, podczas gdy model językowy może jedynie składać typowane propozycje. Roszczenie zostaje przyjęte tylko wtedy, gdy predykcja zarejestrowana przed działaniem zostanie dopasowana do obserwacji przez kod.

Ta struktura eliminuje problem zaufania do samoraportów agenta, ponieważ weryfikacja jest wbudowana w architekturę, a nie przeprowadzana po fakcie. System implementuje również mechanizmy automatycznego unieważniania — każde uruchomienie unieważnia się samo przy naruszeniu progów błędów per-organ write-error, render-size lub salted-canary-echo.

Eksperyment z ablacją mechanizmów

Badacze przeprowadzili kontrolowane eksperymenty ablacyjne, systematycznie usuwając różne mechanizmy systemu. Najważniejsze odkrycie dotyczy różnicy między mechanizmami zobowiązań (commitment) i wiązania (binding).

Ablacja mechanizmu zobowiązań doprowadziła do dramatycznej zmiany: porzucanie celów wzrosło z 0,00 do 1,00, podczas gdy błędy wiązania pozostały płaskie na poziomie 0,00. Z kolei kanał wiązania nie pojawia się ponownie jako dryf per-beat po ablacji jego naprawy, ponieważ wiązanie jest własnością kodu, a klasa błędów zostaje strukturalnie wchłonięta.

Metodologia i przyszłe zastosowania

Przedstawiony instrument weryfikacyjny oferuje nowe podejście do rozwoju agentów AI przez wprowadzenie mierzalnej dekompozycji dryfu. Metodologia pozwala na strukturalne, a nie post hoc testowanie systemów, co może okazać się kluczowe dla rozwoju bardziej niezawodnych agentów długoterminowych.

Badanie pokazuje, że nawet przy zerowej skuteczności zadań, można wypracować wartościowe metodologie weryfikacji, które będą miały zastosowanie w przyszłych, bardziej efektywnych systemach.