Przejdź do treści
6 min czytania

Phronix: agenci AI uczą się zdolności z własnych działań

Nowy paradygmat Phronix pozwala agentom AI zapamiętywać i doskonalić zdolności, redukując koszty tokenów i podnosząc skuteczność tańszych modeli do 91%.

Phronix: agenci AI uczą się zdolności z własnych działań

Źródło zdjęcia: arXiv.org

Nowe badanie opublikowane na arXiv opisuje Phronix — paradygmat uczenia się agentów AI skoncentrowany na zdolnościach (ang. capabilities), który ma rozwiązać jeden z najbardziej uporczywych problemów agentowych systemów wykorzystywanych w obliczeniach naukowych: brak trwałej pamięci i konieczność ciągłego odkrywania tych samych rozwiązań od nowa. Praca, zgłoszona 22 października 2026 roku przez zespół Hariharana Devarajana, Neeraja Rajesha, Aniruddhy Marathe, Nikoliego Drydena, Kina Nga i Micheli Taufer, pokazuje, że agenci wyposażeni w Phronix potrafią zapamiętywać, weryfikować i udoskonalać wiedzę z własnych wykonań, zamiast polegać wyłącznie na ręcznie pisanych umiejętnościach.

Kluczowe wnioski

  • Agenci korzystający z wyuczonych zdolności Phronix rozwiązują powtarzające się zadania przy pierwszej próbie w 93–95% przypadków, niezależnie od użytego modelu, co znacząco redukuje niedeterminizm rozwiązań.
  • Z każdego zadania bez instrukcji użytkownika Phronix tworzy od 7,6 do 30,8 trwałych zdolności; liczba nowo tworzonych zdolności spada poniżej dwóch, gdy potrzebna umiejętność już istnieje w pamięci systemu.
  • Uruchomienia z „ciepłym startem” (gdy system ma już zapisane zdolności) zużywają jedynie 0,38–0,40 mln tokenów na zadanie — trzy do czterech razy mniej niż pojedyncza próba bazowa, podczas gdy „zimny start” kosztuje nie więcej niż standardowe podejście.
  • W teście na przepływie pracy 1000 Genome Pegasus, obejmującym instrumentację produkcyjnej aplikacji pod kątem analizy wydajności I/O, Phronix przeszedł wszystkie 11 testów poprawności wobec sześciu osiągniętych przez bazowy harness.
  • Dzięki Phronix dwa tańsze modele podniosły wskaźnik rozwiązywania zadań SWE-bench odpowiednio z 29% i 27% do 91% i 87%, dorównując wydajności najdroższego z testowanych modeli.

Problem rozwiązywany ręcznie napisanych umiejętności

Obliczenia naukowe coraz częściej opierają się na agentach opartych na dużych modelach językowych do zadań związanych z inżynierią wydajności — takich jak instrumentacja kodu, analiza danych czy przenoszenie przepływów pracy między systemami. Autorzy zwracają jednak uwagę, że skuteczność tych agentów w ogromnym stopniu zależy od otaczającej je infrastruktury, tzw. harnessu, który zwykle opiera się na ręcznie napisanych umiejętnościach i starannie wyselekcjonowanej pamięci.

To podejście ma istotne ograniczenie: utrudnia autonomiczne uczenie się. Zamiast zachowywać i wykorzystywać wiedzę zdobytą podczas wcześniejszych wykonań, agenci są zmuszeni wielokrotnie odkrywać te same rozwiązania od nowa. Podobny problem poruszało wcześniej badanie pokazujące, że rozbudowane harnessy agentów AI kosztują więcej, a niekoniecznie działają lepiej — Phronix proponuje konkretną odpowiedź na ten problem, przenosząc ciężar z ręcznego projektowania umiejętności na mechanizm samodzielnego uczenia się agenta.

Pętla predyktor-walidator-korektor

Sercem Phronix jest pętla działająca w trzech krokach: narzędzia MCP wraz z powiązanymi umiejętnościami proponują rozwiązania, wykonania narzędzi je weryfikują, a zaobserwowane wyniki służą do udoskonalania zapisanych zdolności. System destyluje każdą zaobserwowaną interakcję do magazynu zdolności (capability store) i — co istotne — w przypadku napotkania zadania zakończonego niepowodzeniem, nie porzuca go, lecz podejmuje ponowne badanie problemu.

Mechanizm ten bezpośrednio adresuje kwestię poruszaną w analizach integracji narzędzi agentowych, takich jak porównanie protokołu MCP i interfejsów CLI dla agentów AI — Phronix wykorzystuje właśnie narzędzia MCP jako element swojej architektury predyktor-walidator-korektor, nadając im dodatkową funkcję akumulowania wiedzy w czasie.

Wyniki: mniej tokenów, więcej niezawodności

Autorzy przedstawiają trzy kluczowe grupy wyników. Po pierwsze, wyuczone zdolności rozwiązują powtarzające się zadanie przy pierwszej próbie w 93–95% przypadków we wszystkich testowanych modelach, co istotnie ogranicza niedeterminizm rozwiązań i podnosi niezawodność systemu. Po drugie, Phronix przekształca własne wykonania agenta w 7,6–30,8 trwałych zdolności na zadanie bez konieczności jakiejkolwiek instrukcji ze strony użytkownika — a gdy potrzebna zdolność już istnieje w pamięci, liczba tworzonych nowych zdolności spada poniżej dwóch.

Po trzecie, kwestia kosztów obliczeniowych, która nabiera znaczenia wraz z rosnącą skalą wdrożeń agentowych — podobnie jak w przywoływanym wcześniej badaniu o koszcie komunikacji między agentami AI. Uruchomienia „z ciepłym startem” w Phronix zużywają zaledwie 0,38–0,40 mln tokenów na zadanie, czyli trzy do czterech razy mniej niż pojedyncza próba bazowego harnessu, podczas gdy „zimny start” — czyli sytuacja, gdy system jeszcze nie zgromadził odpowiedniej wiedzy — kosztuje nie więcej niż podejście bazowe.

Test praktyczny przeprowadzono na przepływie pracy 1000 Genome Pegasus, polegającym na instrumentacji produkcyjnej aplikacji pod kątem analizy wydajności wejścia-wyjścia (I/O). Phronix przeszedł wszystkie 11 testów poprawności, podczas gdy bazowy harness zaliczył jedynie sześć z nich. Co istotne dla kosztów wdrożeń komercyjnych, system podniósł wskaźnik rozwiązywania zadań SWE-bench dla dwóch tańszych modeli — z 29% i 27% do odpowiednio 91% i 87% — zrównując ich skuteczność z najdroższym z testowanych modeli.

Wyniki badania sugerują, że paradygmat uczenia się skoncentrowanego na zdolnościach może istotnie zmienić sposób projektowania agentowych systemów w obliczeniach naukowych — pozwalając tańszym modelom osiągać wydajność porównywalną z droższymi, przy jednoczesnej znaczącej redukcji zużycia tokenów w powtarzalnych zadaniach.

Udostępnij

Źródła

Powrót do nawigacji