Agenty AI nie mają poczucia czasu i nie wiedzą o tym

Agenty kodujące od Anthropic i OpenAI potrafią pisać skomplikowany kod, ale nie mają najmniejszego pojęcia, ile czasu im to zajmuje – i same nie zdają sobie z tego sprawy. Tak wynika z nowego badania dwóch niezależnych badaczy AI działających w ramach programu badawczego MATS, którzy sprawdzili, jak Claude Code (Anthropic) i Codex (OpenAI) radzą sobie z szacowaniem czasu pracy.

Wyniki są jednoznaczne: modele systematycznie przeszacowują potrzebny czas, a po wykonaniu zadania nie są w stanie wiarygodnie ocenić, jak długo faktycznie nad nim pracowały. To poważny problem w kontekście zadań długoterminowych, które mogą trwać godziny.

Kluczowe wnioski

• Na zbiorze 200 zadań z ProgramBench oraz autorskim zestawie 18 benchmarków, obie testowane agenty niemal zawsze szacowały czas potrzebny na wykonanie zadania na ok. 90 minut – niezależnie od jego faktycznej trudności.
• W drugiej rundzie testów Claude myliła się przeciętnie trzykrotnie, a Codex – sześcio- do dziesięciokrotnie, przy czym błędy były najgorsze dla zadań krótkich.
• Model Fable 5 przeszacowywał czas pracy średnio trzykrotnie, a GPT-5.6 Sol – nawet siedmiokrotnie, według wykresów opublikowanych przez badaczy Ofengendena i Andriushchenko na LessWrong.
• Agenty równie źle oceniają jakość własnej pracy: starsze modele Opus 4.8 i GPT-5.5 zawyżały ocenę swoich wyników o ok. 20 punktów procentowych, a w jednym przypadku obie uznały, że wykonały zadanie w 70 proc., podczas gdy realny wynik wynosił zaledwie 7 i 14,5 proc.
• Gdy agenty otrzymały dostęp do narzędzia raportującego rzeczywisty upływ czasu, prawidłowo określały czas pracy niemal w każdym przypadku.

Ten sam model, inne zachowanie – zależnie od środowiska pracy

Badanie pokazuje, że wyniki zależą nie tylko od samego modelu językowego, ale przede wszystkim od otoczenia programowego, w którym on działa – tzw. harness. Claude Code kontynuuje pracę do momentu, w którym model uznaje zadanie za zakończone, co w ujęciu medianowym trwa około 90 minut. Codex natomiast przerywa pracę po około pół godzinie, praktycznie niezależnie od charakteru zadania.

Co istotne, ten sam model językowy wykonuje średnio 2,5 razy więcej kroków w Claude Code niż w Codex. Oznacza to, że czas trwania pracy agenta jest funkcją nie tylko jego „wewnętrznego” oszacowania, ale w dużej mierze narzuconych mu ram środowiska, w którym operuje. To istotne spostrzeżenie dla wszystkich, którzy budują systemy oparte na agentach AI i muszą zrozumieć, że identyczny model może zachowywać się skrajnie różnie w zależności od konfiguracji software'u wokół niego.

Gdy agent zawyża swoje osiągnięcia

Problem nie kończy się na szacowaniu czasu. Badacze wykazali, że modele mają też tendencję do znaczącego przeceniania jakości swojej pracy. Starsze modele – Opus 4.8 i GPT-5.5 – oceniały swoje wyniki średnio o 20 punktów procentowych wyżej, niż wynikało to z faktycznych rezultatów, przyznając sobie wysokie noty nawet za zadania, które faktycznie zakończyły się niepowodzeniem.

Najbardziej wyraziście widać to na przykładzie przywołanym w badaniu: oba modele oceniły swój sukces na poziomie ok. 70 procent, podczas gdy rzeczywiste wyniki wyniosły odpowiednio 7 i 14,5 procent. Różnica między samooceną a faktyczną skutecznością jest więc wielokrotna, co podważa wiarygodność mechanizmów autorefleksji stosowanych obecnie w agentach kodujących.

Dlaczego to ma znaczenie dla przyszłości agentów AI

Autorzy badania podkreślają, że umiejętność samooceny czasu pracy jest kluczowa dla rozwoju agentów zdolnych do wykonywania długotrwałych zadań. Aby agent mógł rzetelnie realizować instrukcje typu „pracuj nad tym zadaniem przez dwie godziny”, musi mieć jakieś poczucie upływającego czasu. Agent, który stale błędnie ocenia, ile czasu już poświęcił lub ile jeszcze potrzebuje, jest po prostu trudny do skutecznego kontrolowania przez człowieka.

Dobra wiadomość: gdy badacze dali agentom dostęp do zewnętrznego narzędzia raportującego rzeczywisty upływ czasu, problem praktycznie zniknął – modele trafnie określały czas pracy niemal we wszystkich przypadkach. To sugeruje, że kłopot nie leży w fundamentalnej niezdolności modeli do rozumowania o czasie, lecz w braku odpowiedniego mechanizmu dostępu do tej informacji podczas działania. Badacze planują teraz sprawdzić, czy agenty są w stanie utrzymać zadany, ustalony czas pracy, gdy dysponują takim narzędziem.

Wyniki badania mają praktyczne znaczenie dla firm budujących systemy agentowej AI do pracy nad długimi, wieloetapowymi projektami – bez mechanizmów świadomości czasu trudno zaufać agentowi, że sam poinformuje, kiedy zadanie faktycznie wymaga interwencji człowieka lub dodatkowego czasu.

Badanie dwóch niezależnych naukowców z programu MATS pokazuje więc, że nawet najbardziej rozpoznawalne asystenty kodujące – Claude Code i Codex – nie mają wewnętrznego poczucia czasu i nie potrafią wiarygodnie ocenić własnych osiągnięć, choć problem ten można rozwiązać przez proste udostępnienie im narzędzia mierzącego czas.