Matematycy: LLM-y liczą dobrze, ale nie tworzą nowych idei

Matematycy Timothy Gowers i Peter Sarnak przyznają, że modele językowe potrafią sprawnie łączyć znane metody matematyczne i szybko przeszukiwać przestrzeń możliwych rozwiązań, ale nie posiadają intuicji potrzebnej do formułowania naprawdę nowych idei. Ich oceny wpisują się w szerszą debatę, czy LLM-y realnie stają się bardziej wszechstronne, czy po prostu coraz lepiej radzą sobie z konkretnymi benchmarkami i znanymi typami zadań.

Kluczowe wnioski

• Gowers twierdzi, że dzisiejsze modele umieją kombinować znane metody i testować wiele ścieżek poszukiwań, ale brakuje im intuicji, by wybrać te kilka produktywnych dróg w ogromnej przestrzeni możliwości.
• Sarnak zgadza się z tą oceną: AI jest w stanie wyprowadzać wyniki z istniejącej teorii, ale zawodzi, gdy trzeba opracować abstrakcje leżące u podstaw ważnych dowodów, startując od elementarnego pytania.
• Badacz DeepMind Tom Zahavy w pracy „LLMs Can't Jump” wskazuje na brak zdolności do „manipulative abduction” jako główną barierę.
• Manipulative abduction to umiejętność wymyślania nowych, fundamentalnych założeń, które nie mają żadnego wcześniejszego językowego precedensu.
• Zahavy sugeruje, że rozwiązaniem może być rozwój tzw. modeli świata (world models).

Dobre obliczenia, słaba intuicja

Ocena Gowersa dotyczy sposobu, w jaki modele językowe radzą sobie z matematyką na poziomie technicznym. Według niego LLM-y są silne w łączeniu znanych metod i systematycznym testowaniu wielu ścieżek rozwiązania problemu. To sprawia, że mogą sprawiać wrażenie kompetentnych „kalkulatorów” matematycznych, potrafiących zastosować istniejące narzędzia do konkretnych zadań.

Problem, na który zwraca uwagę Gowers, dotyczy przestrzeni poszukiwań, jaka otwiera się przy trudniejszych problemach matematycznych. Liczba możliwych kombinacji metod i podejść jest ogromna, a kluczem do sukcesu w matematyce jest zdolność do intuicyjnego wyboru tych kilku ścieżek, które faktycznie prowadzą do rozwiązania. Zdaniem Gowersa to właśnie tej intuicji modelom brakuje – potrafią przeszukiwać, ale nie potrafią „czuć”, która droga jest właściwa.

Peter Sarnak formułuje zbliżoną tezę z innej perspektywy. Zgadza się, że AI może efektywnie wyprowadzać wyniki z istniejącej już teorii matematycznej – to zadanie mieszczące się w ramach znanych struktur i reguł. Jednak gdy proces zaczyna się od elementarnego, prostego pytania, a celem jest zbudowanie od zera abstrakcji, na których opiera się później poważny dowód, modele zawodzą. To właśnie tworzenie nowych, wcześniej nieistniejących ram konceptualnych – a nie samo dowodzenie w ramach już ustalonych – stanowi dla Sarnaka realną granicę możliwości AI.

Manipulative abduction – nazwa dla brakującego ogniwa

Podobny wniosek, choć sformułowany w innym języku, wyprowadza badacz DeepMind Tom Zahavy w swojej pracy „LLMs Can't Jump”. Zahavy identyfikuje wąskie gardło, które nazywa „manipulative abduction” – umiejętnością wymyślania nowych, fundamentalnych założeń, które nie mają żadnego językowego precedensu. Innymi słowy: chodzi o zdolność do tworzenia pojęć i przesłanek, których po prostu nikt wcześniej nie sformułował w żadnym tekście, na którym model mógłby się nauczyć.

To rozróżnienie jest istotne, bo pokazuje różnicę między „rekombinacją” istniejącej wiedzy – w czym LLM-y są bardzo skuteczne – a „wyskokiem” poza nią, do zupełnie nowej abstrakcji. Zahavy sugeruje, że jednym z możliwych kierunków rozwoju, które mogłyby pomóc przezwyciężyć tę barierę, są modele świata (world models), czyli systemy budujące wewnętrzną reprezentację rzeczywistości wykraczającą poza samo przetwarzanie języka. Temat mechanizmów rozumowania modeli, w tym pytanie, na ile jest to proces oparty na sztywnych regułach wyuczonych z danych, poruszał niedawno inny artykuł o naturze rozumowania AI.

Co to znaczy dla postępu w AI

Oceny Gowersa, Sarnaka i Zahavy'ego wpisują się w szerszą i toczącą się już od dłuższego czasu dyskusję: czy modele językowe faktycznie stają się z każdą kolejną generacją bardziej wszechstronne i zdolne do nowych form rozumowania, czy po prostu coraz skuteczniej radzą sobie z rosnącą liczbą benchmarków i dobrze znanych typów problemów, na które trafiały już wcześniej w danych treningowych. To rozróżnienie ma znaczenie praktyczne – decyduje o tym, czy AI może realnie wspierać naukowców w odkrywaniu zupełnie nowych twierdzeń, czy raczej pozostanie bardzo wydajnym narzędziem do pracy w ramach już ugruntowanej wiedzy.

Pytanie o rzetelność i użyteczność modeli językowych jako partnerów badawczych pojawia się też w innych niedawnych inicjatywach, takich jak test rzetelności LLM-ów jako współnaukowców, który podobnie jak głosy Gowersa i Sarnaka stawia pytanie, na ile obecne systemy AI mogą być traktowane jako wiarygodni partnerzy w procesie naukowym, a nie tylko sprawni wykonawcy zadań rachunkowych.

Głos dwóch uznanych matematyków, poparty analizą techniczną badacza DeepMind, wskazuje na konkretną, nazwaną granicę obecnych systemów AI: zdolność do rekombinacji jest wysoka, ale zdolność do prawdziwie oryginalnego skoku myślowego – jeszcze nie.