AlphaDiana: nowy system pomiaru agentów AI w zadaniach rozumowania

Nowe badanie opublikowane na arXiv proponuje system pomiarowy nazwany AlphaDiana, który ma rozwiązać fundamentalny problem w ocenie agentów AI: brak rzetelnego sposobu na powiązanie warunków wykonania zadania z faktycznymi wynikami, zachowaniem modelu i zużyciem zasobów. Autorzy, zespół 19 badaczy pod kierownictwem Zhanke Zhou, przedstawiają narzędzie, które pozwala rozłożyć na czynniki pierwsze to, co faktycznie dzieje się wewnątrz agenta łączącego model rozumowania z „uprzężą” (ang. harness) organizującą wywołania modelu, wykonanie narzędzi, ładowanie instrukcji umiejętności i przechowywanie historii w pamięci.

Praca, zgłoszona 14 października 2026 roku, dotyka kwestii coraz ważniejszej w miarę jak agenci AI stają się standardowym sposobem wdrażania modeli językowych w zadaniach wymagających wielokrokowego rozumowania, korzystania z narzędzi i pamięci kontekstowej.

Kluczowe wnioski

• AlphaDiana to modularny system z interfejsami dla zbiorów danych, agentów, środowisk i mechanizmów oceny, który zachowuje natywne pętle kontrolne uprzęży, jednocześnie oddzielnie kontrolując ponowne wykorzystanie plików i retencję pamięci.
• Badacze przetestowali trzy otwarte modele i trzy otwarte uprzęże na pięciu benchmarkach opartych na odpowiedziach, a dwa modele dodatkowo na dwóch benchmarkach interaktywnych.
• Uprzęże nie poprawiają konsekwentnie dokładności rozumowania: zyski na pytaniach, których model nie potrafił rozwiązać samodzielnie, bywają równoważone stratami na pytaniach, na które model odpowiadał poprawnie bez narzędzi.
• Ani prowadzenie przez instrukcje umiejętności, ani zachowywanie historii w pamięci nie poprawiają wiarygodnie dokładności agenta.
• Analiza zachowania i zużycia tokenów wyjściowych musi być zestawiana z poprawnością odpowiedzi: niska entropia tokenów może towarzyszyć błędnym odpowiedziom, a mniejsza liczba tokenów na jedno wykonanie może oznaczać więcej tokenów na jedną poprawną odpowiedź, gdy dokładność spada.

Problem z pomiarem agentów AI

Punktem wyjścia badania jest obserwacja, że agenci AI to coś więcej niż sam model językowy. Autorzy podkreślają, że agenci „łączą modele rozumowania z uprzężami, które organizują wywołania modelu, wykonują narzędzia, ładują instrukcje umiejętności i przechowują historię w pamięci”. Zrozumienie, jak te elementy wpływają na końcowy wynik, wymaga systemu, który pozwoli powiązać warunki wykonania zadania z rezultatami, zachowaniem i zużyciem zasobów – a dotąd brakowało narzędzia, które umożliwiałoby taką analizę w sposób kontrolowany i porównywalny.

AlphaDiana ma wypełnić tę lukę. System obsługuje dwa poziomy analizy: makro – pełne badanie całych agentów w porównaniu między sobą, oraz mikro – interwencje w pojedynczych komponentach agenta, takich jak narzędzia, umiejętności czy pamięć, przeprowadzane w dopasowanych warunkach eksperymentalnych. To rozróżnienie pozwala badaczom nie tylko stwierdzić, że jeden agent działa lepiej od drugiego, ale także wskazać, który konkretny element architektury za to odpowiada.

Tematyka ta wpisuje się w szerszy nurt badań nad rzetelnością oceny systemów agentowych – podobne wątpliwości co do jakości istniejących metod testowania pojawiają się też w kontekście nasyconych benchmarków AI, które wciąż ukrywają realny sygnał o zdolnościach modeli.

Co pokazały eksperymenty

Najważniejszy wniosek z przeprowadzonych testów podważa intuicyjne założenie, że dodanie uprzęży – a więc narzędzi, pamięci i instrukcji umiejętności – automatycznie poprawia działanie modelu rozumowania. Badacze piszą wprost: „uprzęże nie poprawiają konsekwentnie dokładności rozumowania: zyski na pytaniach nierozwiązanych przez sam model mogą być przeważone przez straty na pytaniach, na które odpowiada on poprawnie bez narzędzi”. Innymi słowy, wyposażenie modelu w dodatkowe możliwości potrafi pomóc tam, gdzie wcześniej sobie nie radził, ale jednocześnie może zaszkodzić w zadaniach, które model i tak rozwiązywał poprawnie samodzielnie – netto efekt bywa więc neutralny albo nawet negatywny.

Ta sama niekonsekwencja powtarza się na poziomie pojedynczych komponentów. Ani prowadzenie agenta przez instrukcje dotyczące umiejętności, ani zachowywanie historii w pamięci nie przynoszą wiarygodnej poprawy dokładności. To istotne ustalenie dla projektantów systemów agentowych, ponieważ sugeruje, że popularne praktyki – takie jak zasilanie modelu dodatkowym kontekstem z pamięci czy instrukcjami krok po kroku – nie są uniwersalnym remedium i mogą w niektórych konfiguracjach wręcz szkodzić. Wątek znaczenia zarządzania historią i pamięcią w agentach AI pojawia się też w innych badaniach, np. dotyczących tego, jak czyszczenie historii czatu pomaga agentom AI szukać lepiej.

Drugi istotny wątek dotyczy sposobu interpretacji zachowania modelu i zużycia tokenów. Autorzy ostrzegają, że obserwacje behawioralne – takie jak entropia tokenów czy liczba generowanych tokenów – nic nie mówią same w sobie, jeśli nie są zestawione z poprawnością odpowiedzi. Niska entropia tokenów, która mogłaby sugerować „pewność” modelu, w rzeczywistości może towarzyszyć błędnym odpowiedziom. Podobnie, mniejsza liczba tokenów generowanych w pojedynczym wykonaniu wcale nie oznacza większej efektywności – gdy dokładność spada, liczba tokenów przypadających na jedną poprawną odpowiedź może wręcz rosnąć. To ostrzeżenie przed powierzchowną interpretacją metryk zużycia zasobów bez kontekstu merytorycznej poprawności.

Znaczenie dla diagnostyki systemów agentowych

AlphaDiana łączy dane o poprawności odpowiedzi i statusie wykonania zadania z pełnymi śladami przebiegu (traces) oraz rejestrami zasobów, co umożliwia porównywanie różnych agentów i diagnozowanie przyczyn niepowodzeń w ramach wspólnych polityk dotyczących zadań i zasobów. Dla twórców i badaczy systemów agentowych oznacza to narzędzie pozwalające odpowiedzieć na pytanie nie tylko „który agent jest lepszy”, ale „dlaczego” – czy winny jest konkretny komponent, sposób zarządzania pamięcią, czy może sama strategia wywołań narzędzi.

Ustalenia te mają praktyczne znaczenie dla całej branży budującej systemy agentowe oparte na dużych modelach językowych. Pokazują, że powszechne założenie „więcej narzędzi i pamięci równa się lepsze wyniki” jest nieprawdziwe w sposób systematyczny, a rzetelna ocena wymaga rozdzielenia wpływu poszczególnych komponentów architektury agenta – podobne wnioski o ukrytych źródłach błędów w działaniu agentów pojawiają się także w badaniach nad ukrytymi błędami agentów AI w zadaniach data science.

Podsumowując, AlphaDiana dostarcza metodologicznej infrastruktury do rzetelnej oceny agentów AI, obnażając przy okazji istotną niekonsekwencję w działaniu popularnych architektur uprzęży – narzędzia i pamięć, wbrew intuicji, nie zawsze przekładają się na lepsze rozumowanie.