OpenDiscoveryTrace: nowy benchmark śladów rozumowania AI naukowców

OpenDiscoveryTrace to nowy, publicznie dostępny zbiór danych, który po raz pierwszy pozwala zajrzeć w proces myślowy autonomicznych „AI naukowców” – nie tylko ocenić, co wyprodukowali, ale zrozumieć, jak do tego doszli. Autorzy pracy, Aayam Bansal i Keertan Balaji, argumentują, że dotychczasowe benchmarki dla agentów naukowych skupiają się wyłącznie na końcowym rezultacie – wygenerowanym kodzie, hipotezie czy artykule – odrzucając cały ślad rozumowania, który do niego doprowadził. To uniemożliwia audyt metodologii naukowej, diagnozowanie błędów i odróżnienie systematycznego rozumowania od szczęśliwego trafu.

Kluczowe wnioski

• OpenDiscoveryTrace to zbiór 558 kompletnych trajektorii agentów naukowych, obejmujący 124 zadania z zakresu odkrywania leków, nauki o materiałach, genomiki i analizy literatury naukowej.
• Każdy krok trajektorii jest zapisany w ustrukturyzowanym śladzie z 9 polami – w tym myślami modelu, wywołaniami narzędzi, obserwacjami, błędami, wyzwalaczami korekt i samodzielnie zgłaszaną pewnością.
• Zbiór obejmuje siedem modeli: trzy modele klasy frontier – GPT-5.4, Claude Opus 4.6 i Gemini 3.1 Pro (po 124 trajektorie każdy, w pełni zbalansowane pod względem domeny i poziomu trudności) – oraz cztery modele open-weight: Qwen2.5–7B, Mistral-7B-v0.3, Phi-3.5-mini i Qwen2.5–1.5B (po 30 trajektorii każdy), plus 60 dodatkowych trajektorii z wariantem live-retrieval.
• Analiza pilotażowa na 363 trajektoriach ocenionych przez LLM ujawniła, że wszystkie trzy modele frontier osiągają zbliżone wskaźniki sukcesu (84–89%), ale Claude Opus 4.6 generuje 30 razy więcej błędów niż GPT-5.4 (2,5 vs 0,08 na trajektorię, p < 0,0001, Cliff's δ = 0,613).
• Zestaw danych, schemat śladu, harness agenta i definicje benchmarków są publicznie dostępne na licencji CC BY 4.0, a praca otrzymała Best Dataset Award na warsztatach ICML 2026 poświęconych AI for Science.

Dlaczego samo mierzenie wyniku nie wystarcza

Dotychczasowe podejście do oceny autonomicznych systemów naukowych – w tym projektów podobnych do koncepcji „co-naukowca” testowanych przez wielkie laboratoria AI – zwykle sprowadzało się do sprawdzenia, czy model dostarczył prawidłową hipotezę, funkcjonalny kod albo przekonującą pracę badawczą. Autorzy OpenDiscoveryTrace wskazują, że taka ocena jest niewystarczająca, ponieważ dwa modele mogą osiągać identyczny wynik końcowy z zupełnie różnych powodów – jeden dzięki solidnemu, powtarzalnemu rozumowaniu, drugi przez przypadkowe trafienie. Bez śledzenia procesu nie da się odróżnić tych scenariuszy, co ma poważne konsekwencje dla audytowania metodologii naukowej i wykrywania systematycznych słabości agentów.

Właśnie dlatego zespół zdecydował się nagrywać każdy krok działania agenta w formacie dziewięciopolowym – rejestrując nie tylko wywołania narzędzi i uzyskane obserwacje, ale też wewnętrzne myśli modelu, popełnione błędy, momenty, w których model decydował się zrewidować swoje podejście, oraz poziom pewności, jaki sam sobie przypisywał. Taki poziom szczegółowości pozwala na retrospektywną analizę tego, gdzie i dlaczego proces rozumowania „się psuje” – nawet jeśli końcowy wynik był prawidłowy.

Różnice w błędach, które ujawnia śledzenie procesu

Najbardziej wymowny wniosek z analizy pilotażowej dotyczy tego, jak bardzo różnią się profile błędów modeli, które z perspektywy samego wyniku wyglądają praktycznie identycznie. Wszystkie trzy modele frontier – GPT-5.4, Claude Opus 4.6 i Gemini 3.1 Pro – osiągają wskaźniki sukcesu w przedziale 84–89%, co przy ocenie tylko na podstawie wyniku sugerowałoby porównywalną jakość. Jednak śledzenie procesu ujawnia, że Claude Opus 4.6 produkuje aż 30 razy więcej błędów na trajektorię niż GPT-5.4 – średnio 2,5 błędu wobec 0,08, przy statystycznie istotnej różnicy (p < 0,0001) i dużym rozmiarze efektu (Cliff's δ = 0,613).

Co jeszcze istotniejsze, natura tych błędów jest zupełnie inna. W przypadku Claude Opus 4.6 aż 66,7% błędów to niewłaściwe użycie narzędzi – model potyka się na interakcji z otoczeniem, a nie na samym wnioskowaniu. GPT-5.4 popełnia znacznie mniej błędów ogółem, ale gdy już do nich dochodzi, w 83,6% przypadków są to błędy rozumowania, a nie obsługi narzędzi. Ta różnica – niewidoczna dla żadnej metody oceniania opartej wyłącznie na wyniku końcowym – ma bezpośrednie znaczenie praktyczne: wskazuje, w jakim obszarze każdy model wymaga dalszego dopracowania i jakiego rodzaju nadzoru potrzebuje przy wdrożeniu w rzeczywistych zadaniach badawczych. Zagadnienie to koresponduje z szerszą dyskusją o tym, jak agenci AI radzą sobie w zadaniach wymagających planowania i samokontroli, poruszaną m.in. w kontekście ograniczeń agentów AI w rozumieniu czasu i kontekstu.

Benchmark, dostępność i znaczenie dla governance AI

Poza samym zbiorem danych autorzy zdefiniowali pięć zadań benchmarkowych z bazowymi modelami opartymi na regresji logistycznej, losowych lasach, sieciach LSTM oraz architekturach transformerowych. Ma to umożliwić dalszym badaczom trenowanie modeli przewidujących np. moment popełnienia błędu, wyzwalacz rewizji czy poziom wiarygodności deklarowanej pewności agenta na podstawie samego śladu procesu, a nie tylko wyniku końcowego.

Cały zestaw – dane, schemat śladu, harness agenta wykorzystywany do zbierania trajektorii oraz definicje benchmarków – jest publicznie dostępny na licencji CC BY 4.0. Otwarty charakter projektu ma wspierać badania nad oceną na poziomie procesu, audytowaniem agentów naukowych oraz szerszym governance AI – obszarem, który zyskuje na znaczeniu w miarę jak autonomiczne systemy są coraz częściej testowane w rzeczywistych zadaniach badawczych, podobnie jak w przypadku projektów typu Co-Scientist DeepMind, który planuje eksperymenty i pisze prace naukowe. Praca została wyróżniona Best Dataset Award podczas warsztatów ICML 2026 poświęconych roli AI w nauce.

Podsumowując, OpenDiscoveryTrace przesuwa punkt ciężkości oceny autonomicznych systemów naukowych od pytania „czy dostał dobrą odpowiedź” w stronę pytania „jak do niej doszedł” – co, jak pokazuje pilotażowa analiza, może ujawnić fundamentalnie różne wzorce działania modeli osiągających identyczny wynik końcowy.