Czyszczenie historii czatu pomaga agentom AI szukać lepiej

Badacze Microsoft Research opisują zjawisko, które może tłumaczyć, dlaczego długo działające agenty AI potrafią utknąć w miejscu mimo dostępu do coraz większej mocy obliczeniowej. Jak czytamy w oryginalnym artykule The Decoder, problemem jest nagromadzona historia rozmowy, która zawęża przestrzeń poszukiwań agenta i trzyma go przy podobnych, niekoniecznie najlepszych rozwiązaniach. Rozwiązaniem okazuje się proste, ale skuteczne: regularne czyszczenie kontekstu czatu.

Kluczowe wnioski

• Osiem niezależnych uruchomień tego samego agenta na tym samym zadaniu zatrzymywało się na bardzo różnych poziomach wydajności – wyniki końcowe wahały się od 68,3 do 100,0 punktów, a różnice te utrzymywały się nawet przy znacznie większej mocy obliczeniowej.
• Agenty utykają w tzw. „basenach pomysłów” (idea basins) – obszarach mapy rozwiązań, w których wciąż dopracowują podobne podejścia zamiast szukać lepszych, odkrytych w innych uruchomieniach.
• Nowa metoda „Fork-and-Flush” łączy rozgałęzianie agenta na równoległe gałęzie z czyszczeniem historii czatu przy zachowaniu plików roboczych.
• Na tym samym budżecie obliczeniowym metoda osiągnęła znormalizowany średni wynik 0,78, wobec 0,47 dla pojedynczych uruchomień i 0,54 dla best-of-4 – to wzrost odpowiednio o 66,0 i 44,4 procent.
• Samo wyczyszczenie kontekstu czatu, bez rozgałęziania, poprawiło wyniki o 22 procent na 11 testowanych zadaniach.

Agenty utykają w „basenach pomysłów”

Badacze badali tzw. „Autoresearch agents” – systemy AI, które wielokrotnie proponują rozwiązania, oceniają je i udoskonalają na podstawie informacji zwrotnej. Aby zrozumieć, dlaczego różne uruchomienia tego samego agenta na tym samym zadaniu kończą się tak różnymi wynikami, naniesione zostały wszystkie rozwiązania ze wszystkich przebiegów na dwuwymiarową mapę, na której podobne rozwiązania znajdują się blisko siebie.

Okazało się, że rozwiązania z pojedynczego uruchomienia niemal zawsze pozostawały w niewielkim obszarze tej mapy. Autorzy nazwali te obszary „basenami pomysłów” (idea basins). Agenty spędzają dużą część pozostałego budżetu obliczeniowego na dopracowywaniu rozwiązań w mniej produktywnym regionie, zamiast szukać lepszych podejść, które odkryły inne uruchomienia. Co istotne, ten wzorzec utrzymuje się nawet wtedy, gdy agenty okresowo kompresują historię swoich rozmów.

Jak działa metoda Fork-and-Flush

Zaproponowana przez badaczy metoda „Fork-and-Flush” łączy dwa mechanizmy. Pierwszy, „forking” (rozgałęzianie), polega na podzieleniu agenta na K równoległych gałęzi, z których każda dziedziczy dotychczasowy obszar roboczy i wszystkie wygenerowane pliki. Drugi, „flushing” (czyszczenie), sprawia, że każda gałąź traci cały swój kontekst rozmowy, ale zachowuje obszar roboczy – dzięki temu może rozpocząć nową rozmowę, bazując na wcześniejszej pracy.

Mechanizm ten wynika z obserwacji, że gałąź, która zachowuje kontekst czatu procesu macierzystego, zwykle wraca do tego samego „basenu pomysłów”, ponieważ wcześniejszy tok rozumowania steruje kolejnymi krokami. Świeży kontekst przywraca różnorodność poszukiwań – historia rozmowy zostaje utracona, ale kod, pliki i zapisane wyniki pozostają w obszarze roboczym.

Badacze przetestowali Fork-and-Flush na 13 długo trwających zadaniach, obejmujących między innymi pakowanie poliomin, szeregowanie typu job-shop oraz kryptoanalizę. Wśród zadań znalazły się także kompresja klasyfikatora CIFAR oraz optymalizacja jądra VLIW. Pojedyncze uruchomienia trwały od kilku godzin do ponad 100 godzin, a agenty korzystały z modeli GPT-5.6-terra oraz GPT-5.5 za pośrednictwem GitHub Copilot CLI.

Wyniki okazały się jednoznaczne: metoda osiągnęła najwyższy średni wynik w 12 z 13 zadań. Fork-and-Flush dawał też bardziej spójne rezultaty – znormalizowane odchylenie standardowe spadło do 0,16 z 0,26 dla pojedynczych uruchomień. Dla porównania, best-of-4, czyli uruchomienie czterech niezależnych prób i wybranie najlepszej z nich, dało poprawę jedynie o około 14,9 procent względem pojedynczego uruchomienia.

Czy silniejsze modele też tego potrzebują?

Badacze sprawdzili też, czy bardziej zaawansowane modele są odporne na efekt „basenów pomysłów”. W tym celu wykorzystali problemy MAX-3-SAT testowane na trzech rozmiarach modeli: Qwen3.5–4B, 9B i 27B. Wariancja między uruchomieniami tworzyła krzywą w kształcie odwróconej litery U, osiągając maksimum przy zadaniach znajdujących się na granicy możliwości danego modelu – mniej więcej w połowie drogi między skutecznością losowego zgadywania a wydajnością referencyjnego solvera.

Modele niemal zawsze radziły sobie z bardzo łatwymi zadaniami i niemal zawsze zawodziły przy bardzo trudnych – wzorzec ten utrzymywał się we wszystkich trzech testowanych rozmiarach modeli. Autorzy argumentują, że otwarte problemy badawcze z definicji znajdują się na granicy możliwości modeli. Oczekują więc, że odmiana wyników, którą wykorzystuje Fork-and-Flush, będzie się utrzymywać w miarę poprawy modeli, a granica ta po prostu przesunie się w stronę trudniejszych problemów. Oznacza to, że regularne resetowanie kontekstu może pozostać użyteczne nawet w przypadku najbardziej zaawansowanych agentów badawczych przyszłości.

Wyniki te wpisują się w szerszy nurt badań nad tym, jak agenty AI radzą sobie z pamięcią i kontekstem w długich zadaniach – podobny problem poruszono niedawno w kontekście kontrolowanego przez agentów zapominania, gdzie modele same decydują, co warto usunąć z pamięci roboczej.

Podsumowując, badanie Microsoft Research pokazuje, że czyszczenie historii czatu – z zachowaniem plików roboczych – to proste narzędzie, które może istotnie poprawić zdolność agentów AI do eksploracji nowych rozwiązań, zamiast utykania w lokalnych optimach.