Nasycone benchmarki AI wciąż ukrywają sygnał o zdolnościach

Nowe badanie opublikowane na arXiv podejmuje problem, który coraz częściej spędza sen z powiek twórcom benchmarków AI: co zrobić, gdy test przestaje różnicować modele, bo wszystkie uzyskują niemal perfekcyjny wynik? Zespół badaczy – Morio Hamada, Jehyeok Yeon, Matteo Migliarini, Justin Olive i Magda Dubois – zaproponował odpowiedź, która nie polega na budowaniu kolejnych, trudniejszych benchmarków, lecz na wydobywaniu dodatkowej informacji z tych, które już mamy. Praca została zgłoszona 14 października 2026 roku.

Punktem wyjścia jest obserwacja, że szybki postęp możliwości AI prowadzi do „saturacji” benchmarków – sytuacji, w której kilka modeli osiąga wyniki bliskie maksymalnym, a test traci zdolność odróżniania ich od siebie. To poważny problem nie tylko techniczny, ale i praktyczny: nasycone benchmarki tracą użyteczność dla tworzenia tzw. safety cases, czyli formalnych argumentów za bezpieczeństwem systemów AI, a także dla kształtowania polityk dotyczących modeli granicznych (frontier models).

Kluczowe wnioski

• Benchmarki generują znacznie więcej danych niż sam wynik liczbowy – każdy test pozostawia pełny transkrypt pokazujący, jak model doszedł do rozwiązania zadania.
• Autorzy zasymulowali saturację retrospektywnie, korzystając z historycznych wydań benchmarków i modeli, by sprawdzić, czy transkrypty z „przesyconych” testów przewidują wyniki na nowych, nienasyconych zadaniach.
• Spośród testowanych metod najlepiej sprawdziło się parowe ocenianie (pairwise judging), redukujące błąd predykcji aż 5,3-krotnie w porównaniu z punktem odniesienia opartym wyłącznie na nasyconych wynikach benchmarku.
• Informacja o zdolnościach modelu jest rozproszona w całym transkrypcie, ale koncentruje się szczególnie w fragmentach dotyczących rozumowania i wywołań narzędzi (tool-calls).
• Modele predykcyjne nie zawsze generalizują się dobrze przy przesunięciach rozkładu danych – przykładowo niedoszacowały możliwości pierwszych modeli rozumujących wprowadzonych na początku 2025 roku.

Dlaczego transkrypty mówią więcej niż wynik liczbowy

Istotą pracy jest założenie, że sam wynik procentowy na benchmarku to tylko ułamek informacji, jaką generuje model podczas rozwiązywania zadania. Pełny zapis procesu – kroki rozumowania, wywołania narzędzi, próby i poprawki – zawiera dane, które mogą ujawniać różnice w możliwościach modeli nawet wtedy, gdy ich końcowe wyniki są identyczne lub bardzo zbliżone. Autorzy sprawdzili, czy da się te dane wykorzystać metodologicznie, bazując wyłącznie na transkryptach poprawnie rozwiązanych zadań z benchmarków, które już osiągnęły pułap saturacji.

Aby zweryfikować tę hipotezę, badacze zbudowali eksperyment retrospektywny: cofnęli się do historycznych wydań benchmarków i modeli, sztucznie odtwarzając moment, w którym dany test przestawał różnicować modele. Następnie sprawdzali, czy protokoły operujące wyłącznie na transkryptach z nasyconych benchmarków potrafią przewidzieć wyniki tych samych modeli na odłożonych, jeszcze nienasyconych zadaniach testowych.

Cztery metody ekstrakcji informacji z transkryptów

Zespół porównał cztery reprezentatywne, współczesne podejścia do wydobywania sygnału z zapisów działania modeli:

• Parowe ocenianie (pairwise judging) – porównywanie dwóch transkryptów względem siebie.
• Absolutne ocenianie pojedynczego transkryptu (single-transcript absolute scoring).
• Przewidywania na podstawie deterministycznych cech transkryptu.
• Przewidywania na podstawie embeddingów transkryptu.

Wyniki pokazały jednoznacznie, że to parowe ocenianie radzi sobie najlepiej spośród wszystkich testowanych protokołów – redukując błąd predykcji aż 5,3-krotnie względem bazowego podejścia opierającego się wyłącznie na nasyconych wynikach benchmarku. Innymi słowy, porównanie dwóch transkryptów ze sobą dostarcza znacznie więcej sygnału o relatywnych zdolnościach modeli niż próba oceny pojedynczego zapisu w oderwaniu od kontekstu.

Co istotne, badacze zidentyfikowali, że informacja istotna dla oceny zdolności nie jest równomiernie rozłożona w transkrypcie – jest rozproszona w całej jego treści, ale szczególnie skoncentrowana w konkretnych „kanałach” informacyjnych, takich jak fragmenty poświęcone rozumowaniu modelu oraz wywołaniom narzędzi zewnętrznych. To sugeruje, że przyszłe narzędzia analityczne mogłyby skupiać się selektywnie na tych częściach transkryptu, zamiast analizować całość w jednakowy sposób.

Granice metody: problem generalizacji

Mimo obiecujących wyników autorzy wskazują na istotne ograniczenie: zdolność predykcyjna badanych protokołów nie zawsze generalizuje się dobrze przy przesunięciach rozkładu danych (distribution shifts). Konkretnym przykładem przywołanym w pracy jest sytuacja z początku 2025 roku, gdy na rynek weszły pierwsze modele rozumujące (reasoning models) – protokoły systematycznie niedoszacowywały ich rzeczywistych możliwości. Oznacza to, że metody wydobywania sygnału z transkryptów, choć skuteczne w warunkach podobnych do tych, na których były testowane, mogą zawodzić w obliczu nowych architektur czy nowych sposobów rozwiązywania zadań przez modele.

Wniosek autorów jest wyważony: nasycone benchmarki rzeczywiście zachowują sygnał pozwalający przewidywać zdolności modeli w swoich transkryptach zadań, ale wydłużenie „żywotności” istniejących benchmarków wymaga metod zaprojektowanych tak, by wydobywać te sygnały w sposób odporny na zmiany w charakterze modeli i zadań. To rozróżnienie – między potencjałem a praktyczną niezawodnością metody – jest kluczowe dla dalszych prac nad oceną modeli AI w erze, gdy kolejne testy coraz szybciej tracą moc różnicującą.

Temat ten wpisuje się w szerszą dyskusję na temat jakości narzędzi do mierzenia postępów AI – podobne wątpliwości co do wiarygodności dotychczasowych metryk pojawiły się już przy okazji prac nad nowym testem C-test mającym mierzyć superinteligencję AI.

Praca pokazuje, że saturacja benchmarków nie musi oznaczać końca ich przydatności – pod warunkiem, że społeczność badawcza zacznie traktować pełne transkrypty działania modeli jako pełnoprawne źródło danych, a nie jedynie cyfrowy ślad prowadzący do końcowego wyniku.