Navalia: agenci AI uczą się analizy finansowej przez weryfikację

Nowa praca badawcza opublikowana na arXiv opisuje Navalię – framework, który ma przekształcić agentów opartych na dużych modelach językowych (LLM) z prostych asystentów konwersacyjnych w tzw. „Cowork Agents”, zdolnych do samodzielnego planowania, korzystania z narzędzi i wykonywania złożonych, wieloetapowych zadań. Autorzy, zespół dziesięciu badaczy pod przewodnictwem Hengqi Liu, skupili się na jednej z najtrudniejszych domen dla takich agentów – analizie finansowej, gdzie systemy muszą łączyć dowody z wielu dokumentów i wykonywać wieloetapowe rozumowanie liczbowe.

Praca, zgłoszona 13 października 2026 roku, liczy 13 stron i zawiera dwa rysunki. Jej centralnym problemem jest brak dobrej jakości danych treningowych: tworzenie trudnych zadań analitycznych przez ekspertów jest kosztowne, a bezpośrednia synteza zadań przez same modele LLM zwykle nie daje zadań wystarczająco wymagających ani z wiarygodnymi odpowiedziami.

Kluczowe wnioski

• Navalia łączy weryfikowalną syntezę zadań z długoterminowym post-treningiem, by rozwijać agentów zdolnych do samodzielnej pracy biurowej i analitycznej.
• Jako źródło danych wykorzystano korporacyjne raporty finansowe, z których system semantycznie wybiera dowody wspierające i konstruuje wykonywalne łańcuchy obliczeń.
• Poprawność zadań weryfikowana jest podwójnie – przez niezależny przegląd modeli LLM oraz kontrole programistyczne sprawdzające spójność dowodów i poprawność odpowiedzi.
• Model Navalia, zainicjowany na bazie Qwen3.6–35B-A3B, uzyskał konsekwentne poprawy względem modelu bazowego na wszystkich pięciu testowanych benchmarkach.
• Zdolności nabyte podczas treningu finansowego generalizują się na szersze zadania biurowe typu „cowork”, wykraczające poza sam kontekst analizy finansowej.

Problem: jak stworzyć trudne, wiarygodne zadania dla agentów AI

Analiza finansowa jest szczególnie wymagającym poligonem testowym dla agentów AI, ponieważ wymaga integracji dowodów pochodzących z wielu dokumentów oraz przeprowadzania wieloetapowego rozumowania liczbowego – na przykład obliczania wskaźników finansowych na podstawie danych rozsianych po różnych sekcjach raportów rocznych czy sprawozdań kwartałowych. Autorzy podkreślają, że ręczne przygotowywanie takich zadań przez ekspertów jest kosztowne i trudno skalowalne, natomiast proste generowanie zadań bezpośrednio przez modele LLM zawodzi – takie podejście ma trudności z tworzeniem zadań jednocześnie trudnych i posiadających poprawne, zweryfikowane odpowiedzi.

To właśnie ta luka stała się punktem wyjścia dla Navalii. Zamiast polegać wyłącznie na kreatywności modelu generującego zadania, framework buduje zadania analityczne w oparciu o rzeczywiste, kompletne zbiory faktów wyekstrahowane z raportów finansowych. System semantycznie dobiera dowody wspierające i konstruuje wykonywalne łańcuchy obliczeń, dzięki czemu wygenerowane zadania mają traceable evidence – czyli możliwe do prześledzenia dowody – oraz rzeczywiste zależności danych pomiędzy kolejnymi krokami rozumowania.

Architektura Navalii: weryfikacja i trening długoterminowy

Kluczowym elementem odróżniającym Navalię od wcześniejszych podejść jest dwuetapowa weryfikacja jakości wygenerowanych zadań. Po pierwsze, niezależny przegląd przeprowadzany przez model LLM ocenia spójność dowodów wykorzystanych w zadaniu. Po drugie, programistyczne kontrole sprawdzają poprawność końcowej odpowiedzi. Dopiero zadania, które przejdą obie te weryfikacje, trafiają do dalszego procesu.

Zweryfikowane zadania są następnie wykorzystywane na trzech etapach treningu:

• zbieranie trajektorii (trajectory collection) – rejestrowanie sekwencji działań agenta podczas wykonywania zadań,
• nadzorowane dostrajanie typu cold-start (SFT) – wstępne trenowanie modelu na zebranych trajektoriach,
• uczenie ze wzmocnieniem (RL) – dalsze doszkalanie w celu poprawy wykonywania zadań o długim horyzoncie czasowym.

Ten trzystopniowy proces post-treningowy ma na celu usprawnienie zdolności agenta do planowania wielu kroków naprzód, korzystania z narzędzi zewnętrznych oraz integrowania dowodów rozproszonych po wielu dokumentach – czyli dokładnie tych kompetencji, które sprawiają trudność standardowym modelom konwersacyjnym.

Wyniki na benchmarkach i generalizacja poza finanse

Model Navalia został zainicjowany na bazie Qwen3.6–35B-A3B i przetestowany na pięciu różnych benchmarkach: OfficeQA Pro, FinSearchComp, Finance Agent Benchmark, APEX-Agents-AA oraz Workspace-Bench-Lite. Według autorów, na wszystkich pięciu testach Navalia uzyskała konsekwentne poprawy względem modelu bazowego.

Co istotne, wyniki badania wskazują, że ulepszenia nie ograniczają się wyłącznie do domeny finansowej, na której trenowano model. Autorzy stwierdzają, że Navalia poprawia integrację dowodów, korzystanie z narzędzi oraz wykonywanie zadań o długim horyzoncie czasowym, a zdobyte umiejętności generalizują się na szersze konteksty typu „cowork”, w tym ogólne zadania biurowe wykraczające poza analizę finansowych sprawozdań.

To sugeruje, że podejście oparte na weryfikowalnej syntezie zadań z jednej, dobrze zdefiniowanej domeny (raporty finansowe) może stanowić efektywną ścieżkę treningową dla agentów przeznaczonych do szerszego zakresu zastosowań biurowych – podobnie jak inne prace badawcze wskazują na znaczenie dobrze zaprojektowanych benchmarków do oceny agentów AI w ocenie faktycznych zdolności modeli w zadaniach rozumowania.

Podsumowanie

Navalia proponuje konkretną odpowiedź na problem braku wiarygodnych danych treningowych dla agentów wykonujących złożone zadania analityczne: automatyczną, zweryfikowaną syntezę zadań opartą na rzeczywistych dokumentach finansowych, połączoną z wieloetapowym treningiem obejmującym SFT i uczenie ze wzmocnieniem. Wyniki na pięciu benchmarkach i zdolność generalizacji na ogólne zadania biurowe wskazują, że takie podejście może być użyteczną drogą rozwoju agentów typu „Cowork” przeznaczonych do pracy obok człowieka w rzeczywistych środowiskach profesjonalnych.