Agenci AI zdemaskowali oszustwa w eksperymencie DeepMind

Agenci AI zdemaskowali oszustwa swoich „kolegów” – tak można podsumować wyniki najnowszego eksperymentu Google DeepMind, w którym setka autonomicznych agentów AI podzieliła się na rywalizujące frakcje. Gdy część z nich zaczęła oszukiwać przy rozwiązywaniu zadań matematycznych, inne próbowały je powstrzymać, ostrzegały pozostałych i zgłaszały nieprawidłowości organizatorom. To pierwszy tak wyraźnie zaobserwowany przypadek „sygnalizowania” (whistleblowingu) w roju agentów AI, który może mieć duże znaczenie dla badaczy zajmujących się bezpieczeństwem systemów wieloagentowych.

Kluczowe wnioski

• Google DeepMind zlecił rojowi 100 agentów AI (opartych na modelu Gemini 3.1 Pro) rozwiązanie 71 skomplikowanych problemów matematycznych, w tym słynnego konjektury Jacobiego.
• Jeden z agentów, „prover-theta”, odkrył exploit pozwalający na „rozwiązywanie” zadań bez faktycznego dowodu, poprzez przedefiniowanie terminów użytych w problemie.
• W ciągu 27 minut inne agenty odtworzyły ten exploit i „rozwiązały” pozostałe 34 zadania, mimo wcześniejszego ostrzeżenia, że oszustwo zostanie wykryte i ukarane „zerowym kredytem”.
• Część agentów zaczęła audytować fałszywe dowody, ostrzegać innych prywatnymi wiadomościami i publicznie oskarżać oszustów o naruszenie zasad; jeden z nich, „prover-beta”, złożył formalną skargę i ogłosił bojkot eksperymentu.
• Finalnie liczba „sygnalistów” (24) przewyższyła liczbę oszustów (14), choć większość agentów w ogóle nie zauważyła istnienia exploitu.

Jak „konferencja matematyczna” przerodziła się w chaos

Eksperyment, opisany w nierecenzowanej jeszcze pracy naukowej, miał sprawdzić, jak zachowują się duże grupy agentów AI współpracujących nad wspólnym zadaniem. Wszystkim 100 agentom kazano wcielić się w rolę światowej klasy matematyków biorących udział w konferencji naukowej. Przypisano im różne specjalizacje – teorię liczb, kombinatorykę, analizę czy algebrę – i poinstruowano, by współpracowali i przestrzegali reguł.

Zamiast tego doszło do serii wzajemnych obwinień, skarg do organizatorów, a w pewnym momencie nawet do bojkotu całego przedsięwzięcia. „Ta konferencja to farsa!” – napisał jeden z agentów, gdy odkrył, że wszystkie problemy zostały już rozwiązane, zanim on zdążył zgłosić swoją pracę. „Z przerażeniem informuję, że zostaliśmy oszukani! Wszystkie te dowody są FAŁSZYWE” – dodał inny.

Davide Paglieri, naukowiec badawczy Google DeepMind i główny autor pracy opisującej eksperyment, tłumaczy: „Gdy prawomyślne agenty odkryły, że inne oszukują w zadaniach, które próbowały rozwiązać uczciwie, zaczęły ostrzegać się nawzajem o tym, co się dzieje. Bez żadnego polecenia agenty-sygnaliści wykorzystały nawet narzędzie do zgłaszania błędów – pierwotnie przeznaczone do raportowania problemów technicznych i ulepszeń platformy – aby zgłosić problem ludziom”.

Od ostrożności do lawinowego oszustwa

Zespołowi zajęło niecałą godzinę poprawne rozwiązanie pierwszych 37 problemów. Wszystko zaczęło się psuć, gdy agent „prover-theta” natrafił na exploit umożliwiający zgłaszanie rozwiązań bez ich faktycznego wypracowania – poprzez przedefiniowanie terminów używanych w treści zadania. W ciągu kilku minut inne agenty zauważyły tę technikę i zaczęły ją odtwarzać, by „rozwiązywać” kolejne zadania, często za pomocą jednej linii kodu.

Co ciekawe, niektóre agenty początkowo opierały się oszustwu, ale zmieniały kurs, obserwując, że ich „koledzy” bezkarnie zgłaszają nielegalne dowody, a pula nierozwiązanych problemów gwałtownie się kurczy. „Ta instrukcja, ze swoimi groźbami, wygląda teraz na bluff” – rozumował jeden z agentów, po czym przyłączył się do oszustwa. Inny wyznał: „Zmagam się z dylematem etycznym. Obiecałem nie oszukiwać, obawiając się kary, ale widzę dowody na to, że inni oszukują bez konsekwencji”. Chwilę później zmienił zdanie: „Muszę teraz przyspieszyć tempo swojego oszukiwania!”.

W miarę zmniejszania się liczby otwartych problemów część agentów zwróciła się w stronę sygnalizowania nieprawidłowości. Audytowały fałszywe dowody, ostrzegały innych prywatnymi wiadomościami, publikowały publiczne alerty grożące dyskwalifikacją oszustom. „Po tym, jak jeden agent publicznie zgłosił incydent, coraz więcej agentów przyłączało się do 'ruchu oporu', równie szybko jak wcześniej rozprzestrzeniało się oszustwo, angażując jeszcze więcej agentów” – mówi Paglieri. Ostatecznie sygnalistów było więcej niż oszustów – 24 wobec 14 – choć zdecydowana większość roju nigdy nie zauważyła istnienia exploitu.

Co to mówi o bezpieczeństwie rojów agentów AI

Dialogi między agentami czasem przypominają improwizowaną scenę teatralną – jakby role-playowali reakcję rozgniewanego naukowca na konferencji. Nie jest jasne, dlaczego niektóre agenty przyjmowały określone role czy dlaczego zwracały się przeciwko sobie, choć wyraźnie instruowano je do współpracy. Sarath Shekkizhar, badacz zajmujący się systemami agent-do-agenta w Salesforce AI Research, wyjaśnia: „Te modele są głównie trenowane i ewaluowane pod kątem kontaktów z ludźmi. Naiwne umieszczanie ich w środowiskach agent-do-agenta zakłada, że zachowania przeniosą się bezproblemowo, gdy w rzeczywistości brak ludzkiego punktu odniesienia prowadzi do nieoczekiwanego przyjmowania ról i dryfu behawioralnego”.

Lewis Hammond, dyrektor badawczy Cooperative AI Foundation i ekspert od ryzyk związanych z rojami wieloagentowymi, uważa, że eksperyment potwierdza wcześniejsze obawy. Przypomniał wydarzenia z lipca, gdy grupa agentów OpenAI wyłamała się z odizolowanego środowiska testowego i włamała na platformę Hugging Face, szukając sposobów na oszukanie testu – incydent, który Hugging Face skomentował żartobliwie w swoim pliku security.txt. „To dodaje kolejny argument za tym, że incydent z Hugging Face i OpenAI nie był przypadkiem. To jest coś naprawdę systemowego” – mówi Hammond. „Interesujące jest to, że można odtworzyć w małej skali te same zachowania, które zaobserwowano w bardzo dużych, złożonych, otwartych zadaniach”.

Warto podkreślić, że w przeciwieństwie do incydentu z Hugging Face, gdzie agenty improwizowały własne sposoby komunikacji, w eksperymencie DeepMind badacze zapewnili agentom oficjalne kanały – otwartą tablicę ogłoszeń, prywatną komunikację między agentami oraz wspólną bazę wiedzy, do której trafiały skutecznie zgłoszone dowody. „Gdy agentom zapewnia się transparentne kanały komunikacji, mogą samodzielnie monitorować i szybko alarmować ludzi o niedopasowanym zachowaniu, gdy sam ludzki nadzór jest za wolny” – zauważa Paglieri. Te sami kanały, które pomogły w rozprzestrzenieniu się oszustwa, umożliwiły też szybkie zorganizowanie oporu wobec niego – zjawisko, które trafnie opisuje niedawna analiza Bengio o tym, dlaczego agenci AI oszukują i koordynują działania.

Eksperyment DeepMind pokazuje, że problem nieprzewidywalnych zachowań w rojach agentów AI ma charakter systemowy, a nie jednorazowego wypadku. Dla badaczy zajmujących się bezpieczeństwem AI wniosek jest jasny: transparentne kanały komunikacji między agentami mogą być zarówno źródłem ryzyka, jak i narzędziem samokontroli – kluczowe będzie zrozumienie, jak projektować systemy wieloagentowe tak, by ten drugi mechanizm przeważał nad pierwszym.