Otwarty model AI vs Watson: 41 lat pytań z Jeopardy! w teście

Nowe badanie opublikowane w arXiv porównuje możliwości współczesnego, darmowego modelu językowego z legendarnym superkomputerem IBM Watson, który w 2011 roku pokonał najlepszych ludzkich mistrzów teleturnieju Jeopardy!. Autorzy — David Noever i Forrest McKee — przetestowali otwarty model Qwen2.5–14B (w wersji skwantyzowanej do 4 bitów, zajmujący jedynie 9 GB) na kompletnym, otwartym zbiorze danych Jeopardy!, liczącym 529 939 pytań z 41 sezonów emitowanych od 1984 do 2025 roku. Według autorów jest to pierwszy przypadek, gdy jakikolwiek model przetestowano na całym tym korpusie.

Badanie stawia intrygującą tezę: to, co Watson musiał zamknąć w skalowanym klastrze serwerów POWER7 i miliardowym, wyselekcjonowanym korpusie dokumentów, dziś można zmieścić w jednym pliku o wadze kilku gigabajtów, uruchamianym lokalnie na zwykłym komputerze.

Kluczowe wnioski

• Model Qwen2.5–14B (4-bit, 9 GB) odpowiedział poprawnie na 67,0% wszystkich 529 939 pytań z całej historii Jeopardy! (1984–2025), stosując rygorystyczny protokół wymuszonej odpowiedzi z dopasowaniem dokładnym i rozmytym (fuzzy).
• Na kategoriach faktograficznych wynik przekroczył 85%.
• Na pytaniach wyemitowanych po dacie odcięcia treningowego modelu, lokalny model utrzymał 65% skuteczności, Claude Opus 4.8 osiągnął 95%, a Watson — z definicji ograniczony do swojego zamrożonego korpusu — zdobył 0%.
• Autorzy traktują ekspozycję na dane treningowe jako element wspólny obu systemów, a nie wadę charakterystyczną tylko dla modeli językowych — przypominając, że korpus Watsona został zbudowany specjalnie tak, by zawierał odpowiedzi Jeopardy i był dostrajany na wcześniejszych pytaniach.
• W przeciwieństwie do Watsona, zdolność odpowiadania na pytania nie jest „zamrożona” w momencie budowy modelu — przenosi się z serwerowni do pliku, który teoretycznie można „zapieczętować w kapsule czasu”.

Watson kontra pojedynczy plik na dysku

W 2011 roku system DeepQA firmy IBM był czymś w rodzaju zapieczętowanej kapsuły wiedzy swojej epoki — pokonał najsilniejszych ludzkich mistrzów Jeopardy!, ale wiedza, która to umożliwiła, żyła w wyselekcjonowanym, miliardowym korpusie dokumentów działającym na klastrze serwerów POWER7. Ten korpus był zamrożony w momencie budowy systemu i niemożliwy do przeniesienia czy skopiowania.

Autorzy badania pokazują, że dziś ten sam typ artefaktu — migawka tego, na co dana kultura może odpowiedzieć — jest przenośny i praktycznie darmowy. 41 lat pytań Jeopardy! oznacza jedynie okres, w którym je zbierano. To, co faktycznie testują, jest znacznie starsze i szersze: nagromadzony zasób ogólnej wiedzy ludzkiej, którą kultura uważa za wartą posiadania — od starożytnej historii i wymarłych języków, przez naukę i literaturę, po geografię — z zweryfikowaną odpowiedzią dla każdego pytania.

Test decydujący: pytania z przyszłości modelu

Najważniejszym elementem badania jest tak zwany test decydujący — sprawdzenie, czy model może odpowiadać na pytania, które nie istniały w momencie jego zbudowania. To rozstrzyga, czy dany system rzeczywiście „rozumie” i generalizuje wiedzę, czy tylko odtwarza to, co widział w danych treningowych.

Wynik jest jednoznaczny: na pytaniach wyemitowanych po dacie odcięcia treningowego, lokalny model Qwen2.5–14B utrzymał 65% skuteczności, a Claude Opus 4.8 osiągnął aż 95%. Watson, z konstrukcyjnego założenia zamknięty w swoim wyselekcjonowanym korpusie, nie mógł odpowiedzieć na nic wykraczającego poza tę dystrybucję danych — jego wynik na tych pytaniach wynosi zero.

Autorzy podkreślają, że ekspozycja na dane treningowe nie jest wadą unikalną dla dużych modeli językowych. W ich ocenie przypadek Watsona jest w rzeczywistości bardziej ekstremalny — jego korpus był specjalnie zbudowany tak, by zawierał odpowiedzi z Jeopardy i był dostrajany na wcześniejszych pytaniach z tego samego teleturnieju. Mimo to zdolność do generalizacji poza znane dane różni oba systemy diametralnie: możliwości modelu językowego przetrwały test na materiale, którego fizycznie nie mógł widzieć, podczas gdy Watson bez takiego materiału był całkowicie bezradny.

Znaczenie dla oceny modeli AI

Praca wpisuje się w szerszy trend testowania modeli językowych na masowych, zweryfikowanych zbiorach pytań, podobny do podejść znanych z innych benchmarków ujawniających słabości modeli. W tym przypadku skala jest wyjątkowa — ponad pół miliona pytań obejmujących cztery dekady i praktycznie każdą dziedzinę wiedzy ogólnej, co czyni ten test jednym z najbardziej rozbudowanych sprawdzianów „encyklopedycznej” wiedzy modeli AI przeprowadzonych do tej pory.

Kluczowy wniosek dla branży jest praktyczny: zdolność odpowiadania na szeroki zakres pytań ogólnych, która w 2011 roku wymagała dedykowanego klastra serwerów, dziś zmieszcza się w 9-gigabajtowym pliku dostępnym do uruchomienia lokalnie, bez połączenia z internetem i bez kosztów licencyjnych. To pokazuje, jak radykalnie skróciła się droga od superkomputerowej infrastruktury do darmowych, otwartych modeli o porównywalnych — a w kontekście generalizacji na nowe dane, nawet lepszych — możliwościach.

Badanie Noevera i McKee dokumentuje coś więcej niż tylko wynik testu — to dowód, że kompaktowe, otwarte modele mogą pełnić funkcję przenośnych „kapsuł czasu” ludzkiej wiedzy, zdolnych, w przeciwieństwie do Watsona, do odpowiadania na pytania wykraczające poza moment ich powstania.