Nowy C-test LLM ma zmierzyć superinteligencję AI

Nowy artykuł naukowy hiszpańskiego badacza Jose Hernandeza-Orallo proponuje rozwiązanie problemu, który od dawna spędza sen z powiek twórcom benchmarków AI: jak sprawdzić zdolności systemu, który może okazać się mądrzejszy niż ludzie oceniający go i modele, na których kalibrowano test? Praca „Artificiality's First Exam” przedstawia pierwszy test oparty na mierze złożoności Kt Levina, w którym rolę maszyny odniesienia pełnią duże modele językowe (LLM) zdolne do rozumowania.

Autor wychodzi z prostej, ale fundamentalnej obserwacji: każdy benchmark, którego poziom trudności wzorowany jest na możliwościach ludzi lub obecnych systemów AI, prędzej czy później staje się bezużyteczny. Albo zaczyna kręcić się w kółko (bo testujemy AI testami zrobionymi przez AI), albo po prostu szybko się „wysyca” – modele osiągają w nim niemal maksymalny wynik i przestaje on cokolwiek różnicować.

Kluczowe wnioski

• Autor opracował test bazujący na Kt Levina – obliczalnym wariancie złożoności Kołmogorowa, który wyznacza teoretyczną górną granicę trudności zadania, łącząc najprostszą reprezentację mechanizmu z logarytmem liczby kroków potrzebnych do jego uruchomienia.
• W przeciwieństwie do wcześniejszych testów opartych na Kt (jak oryginalny C-test), które korzystały z minimalistycznych uniwersalnych maszyn Turinga bez żadnej wiedzy wstępnej, nowy test wykorzystuje jako maszyny reprezentacyjne rozumujące LLM-y – „uniwersalne maszyny Turinga” nasycone kompendium ludzkiej kultury, w których promptu pełnią funkcję programów w języku naturalnym.
• Metoda pozwala generować świeże zadania testowe o trudności mierzonej w bitach (w skali ilorazowej), jeszcze zanim jakikolwiek człowiek lub najbardziej zaawansowany model potrafi je rozwiązać.
• Badacz przygotował pierwszą „baterię” certyfikowanych zadań i przetestował ją na dwunastu modelach LLM.
• Wyniki pokazują krzywe charakterystyki agenta, które spadają wraz ze wzrostem trudności zadań – aż do nieodkrytego jeszcze obszaru bardzo wysokiej trudności, nazwanego „oknem superinteligencji”: zadań, które można certyfikować, lecz które wciąż pozostają poza zasięgiem kolejnych generacji najbardziej zaawansowanych modeli.

Problem odwrotny jako fundament trudności

Sednem propozycji jest odwołanie się do tzw. problemów odwrotnych – zadań indukcyjnego wnioskowania, w których poziom trudności nie zależy od subiektywnej oceny, ile czasu zajęłoby to człowiekowi, lecz od obiektywnej złożoności mechanizmu, który wygenerował obserwowane dane, przy uwzględnieniu wcześniejszej wiedzy. To podejście pozwala uciec od circularności, która nęka dzisiejsze benchmarki: zamiast pytać „czy to trudne dla ludzi lub dla GPT-5”, pytamy „jak skomplikowany musiał być mechanizm, by wygenerować to, co widzimy”.

Narzędziem teoretycznym jest tu Kt Levina – wariant złożoności Kołmogorowa, który da się faktycznie obliczyć, bo uwzględnia nie tylko długość najkrótszego programu opisującego dany mechanizm, ale też logarytm liczby kroków potrzebnych do jego wykonania. Dzięki temu Kt wyznacza teoretyczny górny pułap trudności zadania – pułap, który nie zależy od tego, jak dobry (lub zły) akurat jest konkretny model AI w danym momencie.

Wcześniejsze testy wywodzące się z tej idei, w tym klasyczny C-test, opierały się na bardzo minimalistycznych uniwersalnych maszynach Turinga – układach zdolnych jedynie do bardzo ograniczonych reprezentacji i pozbawionych jakiejkolwiek wiedzy wstępnej. To sprawiało, że generowane przez nie zadania były abstrakcyjne i dalekie od realnych wyzwań, z jakimi mierzą się dzisiejsze systemy AI.

LLM-y jako maszyny reprezentacyjne

Kluczowa innowacja pracy Hernandeza-Orallo polega na zauważeniu, że rozumujące duże modele językowe same w sobie są rodzajem uniwersalnych maszyn Turinga – tyle że takich, które zamiast pustej taśmy dysponują skompresowanym kompendium ludzkiej kultury i wiedzy, a zamiast surowego kodu programu – promptami w języku naturalnym. To otwiera drogę do generowania zadań testowych, których trudność jest zakorzeniona w realnej, bogatej wiedzy świata, a nie w sztucznych, abstrakcyjnych konstrukcjach.

Autor formalizuje odpowiednią miarę trudności, buduje lekki pipeline do generowania i certyfikacji zadań, a następnie bada, jak na wyniki wpływa moc obliczeniowa „maszyny odniesienia” oraz różnica w zdolnościach między egzaminatorem a egzaminowanym. Innymi słowy – sprawdza, co się dzieje, gdy model generujący zadania jest wyraźnie potężniejszy od modelu, który ma je rozwiązać.

Efektem tej pracy jest pierwsza bateria certyfikowanych zadań o znanej, mierzonej w bitach trudności, którą przetestowano na dwunastu różnych modelach LLM. Powstałe w ten sposób krzywe charakterystyki agenta (agent characteristic curves) systematycznie opadają wraz ze wzrostem trudności zadań – co samo w sobie nie jest zaskoczeniem – ale sięgają też do obszaru, który autor nazywa „oknem superinteligencji”: zbioru zadań, które da się jednoznacznie certyfikować pod względem trudności, a które jednocześnie pozostają poza zasięgiem nie tylko obecnych, ale i kolejnych generacji najbardziej zaawansowanych modeli.

Dlaczego to ma znaczenie

Praca wpisuje się w szerszą dyskusję o tym, jak mierzyć postęp AI w sytuacji, gdy tempo rozwoju modeli przewyższa tempo powstawania wiarygodnych benchmarków – zjawisko, które coraz częściej pojawia się także w kontekście przyjmowanej przez branżę retoryki „superinteligencji”. Jeśli firmy technologiczne faktycznie dążą do systemów przewyższających ludzkie zdolności poznawcze, potrzebne są narzędzia pomiarowe, które nie tracą sensu w momencie, gdy taki próg zostanie osiągnięty.

Propozycja Hernandeza-Orallo jest w tym sensie odpowiedzią konkretną i matematycznie ugruntowaną – zamiast kolejnego zbioru pytań egzaminacyjnych oferuje metodę generowania zadań o teoretycznie uzasadnionej, rosnącej trudności, niezależnej od aktualnego stanu wiedzy ludzi czy modeli. To podejście zbliża się też do szerszej debaty o rzetelności metryk opisujących zdolności systemów AI, podobnej do tej, jaka toczy się wokół krytyki metryk wierności w wyjaśnialności AI – w obu przypadkach chodzi o to, by pomiar faktycznie mierzył to, co deklaruje, a nie tylko dawał złudzenie obiektywności.

Praca, licząca 63 strony, jest obecnie preprintem pod recenzją, a towarzyszący jej kod i dane zostały udostępnione publicznie zgodnie z informacją zamieszczoną w opisie na arXiv.

Podsumowując: Hernandez-Orallo proponuje matematyczne narzędzie do mierzenia trudności zadań AI w skali bitów, niezależne od aktualnego poziomu ludzi i modeli – a pierwsze testy na dwunastu LLM-ach pokazują, że istnieje już certyfikowalny, lecz wciąż nieosiągalny „obszar superinteligencji”.