Modele świata AI mylą się bez śledzenia ludzkich przekonań

Nowe badanie podważa fundamenty, na których budowane są dzisiejsze modele świata dla autonomicznych agentów AI. Systemy takie jak Sora, Genie 3, JEPA czy Marble mają symulować, jak zmienia się scena po wykonaniu jakiejś akcji – ale zdaniem autorów pracy robią to w sposób fundamentalnie niekompletny, bo ignorują to, co dzieje się w głowach ludzi biorących udział w danej scenie. A skoro ludzkie zachowanie w dużej mierze wynika z przekonań, celów i emocji, a nie tylko z fizycznego układu obiektów, modele te systematycznie przewidują błędne działania.

Kluczowe wnioski

• Obecne modele świata (Sora, Genie 3, JEPA, Marble) modelują wyłącznie warstwę fizyczną: obiekty, pozycje, ruch i przesłonięcia – bez śledzenia przekonań, celów czy emocji ludzi.
• Autorzy proponują framework „Mental World Modeling” (MWM), który dodaje do klasycznych modeli świata zmienne mentalne: przekonania, uwagę, cele, intencje, emocje, normy i relacje społeczne.
• Referencyjna implementacja MENTIS, działająca bez dodatkowego treningu, podnosi wynik F1 do 87,9 punktu wobec 63,3 dla odpowiedzi bezpośrednich i 77,9 dla mechanizmu samo-konsystencji – przy czym ludzie w tym samym teście osiągają 98,5 punktu.
• Usunięcie kanału mentalnego kosztuje modele średnio 12,1 punktu F1, a usunięcie kanału fizycznego – 16,5 punktu; niesprzężone (niezależne) przewidywanie obu przejść stanu odbiera kolejne 6,4 punktu.
• Efekt modelowania mentalnego jest największy w scenach interpersonalnych (+26,4 punktu F1) w porównaniu do scen skoncentrowanych na obiektach (+14,0 punktu).

Przypadek przesuniętej filiżanki i dwa kanały akcji

Autorzy pracy ilustrują problem prostym przykładem: jeśli czyjaś filiżanka zostanie przełożona do szafki, gdy dana osoba nie patrzy, scena z perspektywy modelu opartego wyłącznie na fizyce wygląda poprawnie – obiekt po prostu zmienił miejsce. Problem w tym, że taki model wciąż przewidzi błędną kolejną akcję tej osoby, bo nie wie, że ona wciąż myśli, że filiżanka stoi na stole. Tylko model śledzący przekonanie danej osoby o lokalizacji filiżanki jest w stanie poprawnie wyjaśnić, co ta osoba faktycznie zrobi.

Framework MWM, opublikowany na GitHubie, rozbija każdą akcję na dwa elementy: fizyczny „nośnik” (np. mówienie, wskazywanie, chwytanie) oraz mentalny „ładunek” (np. pocieszanie, oszukiwanie, odrzucanie). Ten sam gest – przesunięcie filiżanki przez stół – może być przeprosinami, oszustwem albo aktem troski. Wyłącznie model świata przechowujący odpowiednie zmienne mentalne jest w stanie rozróżnić te intencje. Docelowy agent widzi jedynie częściowy, egocentryczny widok scenerii, a pełny stan – fizyczny i mentalny – przechowuje sam model świata. Autorzy zaznaczają wprost, że nie twierdzą, że symulują świadomość – stany mentalne to hipotezy wywodzone z zachowania i kontekstu, a nie pomiary, i systemy budowane na tym frameworku powinny reprezentować niepewność oraz transparentnie ujawniać swoje założenia.

MENTIS i test na 448 scenach decyzyjnych

Aby zweryfikować teorię, badacze zbudowali MENTIS – modularny, sześcioetapowy pipeline, który nie wymaga dodatkowego treningu. Najpierw system analizuje scenę i renderuje widok z perspektywy pierwszej osoby. Następnie dzieli warianty akcji na komponenty fizyczne i mentalne, a otrzymane stany symulowane są równolegle. Każda ścieżka jest oceniana pod kątem trzech kryteriów: fizycznej wiarygodności, konsystencji mentalnej i społecznej stosowności. Na końcu pipeline podejmuje deterministyczną decyzję, a każdy etap zapisuje wynik pośredni w formie maszynowo czytelnej – co pozwala śledzić błędy do konkretnego kroku.

Do ewaluacji autorzy stworzyli zbiór Menti-Bench, obejmujący 448 scen decyzyjnych: 320 opisów tekstowych, 100 historii obrazkowych i 28 klipów audio-wideo. Każda scena zawiera sześć opcji odpowiedzi oraz stworzone przez człowieka rozwiązanie referencyjne, dokumentujące nie tylko właściwą akcję, ale i leżące pod nią stany mentalne oraz fizyczne. Aż 78 procent scen zawiera co najmniej dwie postaci – co odpowiada twierdzeniu autorów, że modelowanie interpersonalne jest kluczowe.

Zespół przetestował osiem modeli językowych, w tym pięć od OpenAI (m.in. GPT-5.6-Sol i GPT-4.1) oraz trzy od Anthropic (Claude Fable 5, Claude Opus 4.8, Claude Haiku 4.5), wykorzystując wynik F1 łączący precyzję i pełność wyboru poprawnej akcji. Z każdą dodaną warstwą modelowania wynik rośnie: odpowiedzi bezpośrednie dają 63,3 punktu, samo-konsystencja (model odpowiada sześć razy i wybierana jest najczęstsza odpowiedź) – 77,9, a pełny pipeline MWM – 87,9. Ludzie w tym samym protokole osiągają 98,5 punktu.

Więcej obliczeń nie zastąpi modelowania mentalnego

Kluczowy wniosek badania brzmi: zysków z modelowania mentalnego nie da się odtworzyć samym wielokrotnym próbkowaniem odpowiedzi. Najsłabszy model wyposażony w MWM – GPT-4.1 z wynikiem 84,9 – pobił najsilniejszy model korzystający z samych odpowiedzi bezpośrednich i samo-konsystencji (GPT-5.6-Sol, 83,6 punktu). Dodatkowe testy potwierdziły kluczowe założenia frameworku: usunięcie kanału mentalnego kosztuje modele średnio 12,1 punktu, usunięcie kanału fizycznego – 16,5 punktu, a niesprzężone, niezależne przewidywanie obu przejść stanu zamiast ich sprzężenia odbiera kolejne 6,4 punktu. Największy pojedynczy zysk daje dostarczenie poprawnych przejść stanu – co wskazuje, że symulacja kolejnego stanu jest głównym wąskim gardłem systemu, co przypomina wnioski z innych prac analizujących złożoność przejść w światach gier generowanych przez AI.

Efekt modelowania mentalnego jest największy tam, gdzie teoria go przewiduje: w scenach interpersonalnych wynik F1 rośnie o 26,4 punktu, a w scenach skoncentrowanych na obiektach – tylko o 14,0 punktu. Słabsze modele bazowe zyskują więcej z jawnej struktury niż silniejsze – różnica między MWM i odpowiedziami bezpośrednimi wynosi 28 punktów dla GPT-4.1, ale tylko 21 punktów dla GPT-5.6-Sol. Aby ustalić, skąd bierze się pozostała różnica względem wyników ludzkich, autorzy zastąpili poszczególne etapy pipeline'u ludzkim rozwiązaniem referencyjnym. Największy pojedynczy zysk dały idealne przejścia stanu (+3,5 punktu), następnie idealny stan początkowy (+2,8) i idealna obserwacja (+1,7) – co jeszcze mocniej potwierdza, że symulacja przejść stanu jest krytycznym elementem układanki, a jej precyzyjna ocena wymaga rzetelnych metod ewaluacji, podobnych do tych opisanych przy okazji rubryk ograniczających błędy oceny agentów AI.

Wyniki sugerują, że budowa naprawdę użytecznych agentów – dla robotów usługowych, asystentów medycznych czy systemów współpracujących z ludźmi – wymaga czegoś więcej niż coraz precyzyjniejszej fizyki scen. Bez śledzenia przekonań, intencji i norm społecznych modele świata będą nadal poprawnie odwzorowywać otoczenie, ale błędnie przewidywać, co zrobią ludzie.