EliteTable: samodoskonalące przeszukiwanie programów AI dla sterowania

EliteTable to nowy, samodoskonalący się algorytm przeszukiwania programów, opracowany przez badacza Stuarta Farmera i opublikowany 8 października 2026 roku na arXiv. System wykorzystuje duże modele językowe (LLM) do generowania, edytowania i łączenia kandydackich rozwiązań dla zadań sterowania, opierając się na tabeli o stałej pojemności, w której przechowywane są najlepiej punktowane propozycje. Autor przetestował metodę na sześciu klasycznych zadaniach kontrolnych z biblioteki Gymnasium, uzyskując mieszane, ale w większości obiecujące wyniki.

Kluczowe wnioski

• EliteTable korzysta z LLM-ów do generowania nowych propozycji, edycji istniejących rozwiązań oraz remiksowania kilku z nich na podstawie tabeli najlepszych dotychczasowych wyników.
• Algorytm przetestowano na sześciu zadaniach Gymnasium, przy dziesięciu generacjach i pięćdziesięciu slotach kandydackich w każdej generacji, a każde zadanie uruchomiono dziesięciokrotnie z niezależną inicjalizacją.
• Mediana wyników kandydatów wzrosła między pierwszą a ostatnią generacją we wszystkich sześciu zadaniach, a mediana wyników wybranych zwycięzców wzrosła w pięciu z nich.
• W zadaniu CartPole-v1 wybrany zwycięzca osiągnął maksymalny możliwy wynik już w pierwszej generacji we wszystkich dziesięciu uruchomieniach.
• W zadaniu Acrobot-v1 sześć z dziesięciu przeszukiwań pogorszyło wyniki na danych odłożonych do testów, a mediana zmiany była ujemna.

Jak działa mechanizm samodoskonalenia

Istotą EliteTable jest tabela o stałej pojemności, przechowująca najwyżej punktowane rozwiązania wygenerowane w trakcie przeszukiwania programów. LLM wykorzystuje tę tabelę na trzy sposoby: proponuje zupełnie nowe rozwiązania, edytuje już istniejące oraz tworzy remiksy łączące elementy kilku najlepszych kandydatów. Taki mechanizm ma pozwolić algorytmowi na stopniowe doskonalenie się w kolejnych iteracjach, czerpiąc z wiedzy nagromadzonej w poprzednich generacjach, zamiast rozpoczynać każdą rundę od zera.

Konstrukcja eksperymentu była systematyczna: każde z sześciu zadań kontrolnych przechodziło przez dziesięć generacji, a w każdej generacji dostępnych było pięćdziesiąt slotów na kandydackie rozwiązania. Aby wykluczyć efekt przypadku wynikający z pojedynczego uruchomienia, autor powtórzył każdy eksperyment dziesięciokrotnie, za każdym razem inicjalizując proces niezależnie. Taka metodologia pozwala ocenić nie tylko to, czy EliteTable w ogóle poprawia wyniki, lecz także jak stabilne jest to zjawisko w różnych warunkach startowych.

Wyniki w poszczególnych zadaniach kontrolnych

Dane przedstawione w badaniu pokazują wyraźną poprawę mediany wyników kandydatów między pierwszą a ostatnią generacją – i to we wszystkich sześciu testowanych zadaniach. To sugeruje, że mechanizm iteracyjnego proponowania, edytowania i remiksowania rozwiązań rzeczywiście generuje coraz lepsze programy w miarę postępu przeszukiwania.

Jednak nie wszystkie zadania reagowały identycznie. Mediana wyników wybranych zwycięzców – czyli ostatecznych rozwiązań wyselekcjonowanych z każdej generacji – wzrosła w pięciu z sześciu zadań. Najbardziej spektakularny wynik odnotowano w CartPole-v1, gdzie wybrany zwycięzca osiągnął sufit wyniku (maksymalny możliwy rezultat) już w pierwszej generacji, i to we wszystkich dziesięciu niezależnych uruchomieniach – co wskazuje na stosunkowo prostą naturę tego zadania w kontekście badanej metody.

Kluczowym testem rzeczywistej wartości algorytmu było sprawdzenie, czy poprawa widoczna podczas przeszukiwania przekłada się na nowe, nieznane wcześniej epizody (tzw. held-out endpoints). Tutaj wyniki są bardziej zróżnicowane: wszystkie dziesięć sparowanych punktów testowych poprawiło się w czterech z sześciu zadań, co dowodzi, że zyski osiągnięte podczas przeszukiwania potrafią się generalizować. Z kolei BipedalWalker-v3 oraz CarRacing-v3 wykazały poprawę, lecz nie osiągnęły zakładanych progów raportowania – oznacza to, że mechanizm działał w dobrym kierunku, ale nie wystarczająco skutecznie, by spełnić ustalone kryteria sukcesu.

Najbardziej problematycznym przypadkiem okazał się Acrobot-v1. Aż sześć z dziesięciu niezależnych przeszukiwań odnotowało pogorszenie wyników na danych odłożonych do testów, a mediana zmiany sparowanej była ujemna. To oznacza, że w tym konkretnym zadaniu poprawa widoczna podczas samego procesu przeszukiwania nie przełożyła się na lepsze działanie w nowych warunkach – rozwiązania mogły być nadmiernie dopasowane do konkretnych epizodów treningowych zamiast rzeczywiście uogólniać strategię sterowania.

Ograniczenia i kierunki dalszych badań

Autor jasno zaznacza, że obecne wyniki dokumentują jedynie poprawę w trakcie samego przeszukiwania programów oraz częściowy transfer osiągnięć wybranych zwycięzców do nowych epizodów – ale tylko w niektórych zadaniach. Praca nie zawiera jeszcze porównań z innymi metodami ani ablacji, czyli eksperymentów usuwających poszczególne komponenty algorytmu w celu sprawdzenia ich wkładu w ogólną skuteczność. Bez takich analiz trudno jednoznacznie stwierdzić, na ile mechanizm tabeli elitarnych rozwiązań, edycja czy remiksowanie kandydatów są rzeczywiście kluczowe dla uzyskanych rezultatów, a na ile wyniki wynikają po prostu z samej skali przeszukiwania przeprowadzanego przez LLM.

Problem generalizacji widoczny w Acrobot-v1 wpisuje się w szerszy nurt obserwacji dotyczących systemów opartych na agentach i automatycznym przeszukiwaniu rozwiązań – podobne wątpliwości co do rzeczywistej skuteczności złożonych mechanizmów opartych na LLM pojawiają się również w innych analizach zespołów agentów AI, gdzie wyższe koszty obliczeniowe nie zawsze przekładają się na proporcjonalną poprawę jakości. W przypadku EliteTable samo zwiększenie liczby generacji i kandydatów nie gwarantuje stabilnej poprawy generalizacji we wszystkich typach zadań kontrolnych.

Podsumowując, EliteTable pokazuje, że kierowane przez LLM przeszukiwanie programów z wykorzystaniem tabeli elitarnych rozwiązań potrafi systematycznie poprawiać jakość kandydatów w trakcie kolejnych generacji, a w części zadań poprawa ta przekłada się też na nowe scenariusze testowe. Jednocześnie wyniki w Acrobot-v1 oraz brak porównań z innymi metodami wskazują, że ocena rzeczywistej wartości i uniwersalności tego podejścia wymaga jeszcze dalszych, bardziej rygorystycznych badań.