AI może skłonić naukowców do pracy szybszej, nie lepszej

Badanie opublikowane przez naukowców z Princeton, Uniwersytetu Waszyngtońskiego i innych instytucji stawia tezę, która podważa jedno z najczęściej powtarzanych obietnic dotyczących sztucznej inteligencji w nauce. Autorzy dowodzą, że nawet jeśli modele językowe działałyby bezbłędnie, mogłyby pogorszyć jakość badań naukowych, a nie ją poprawić. Powód? AI oszczędza czas, ale zamiast skłaniać naukowców do głębszej pracy nad tym samym projektem, każe im robić więcej projektów – i robić je gorzej.

Zwykłe założenie brzmi tak: skoro modele językowe przyspieszają naukę na każdym etapie – od stawiania hipotez, przez analizę danych, po pisanie artykułów – to badacze zyskają więcej czasu na rzeczywiste myślenie. Autorzy pracy ekonomicznej podchodzą do tego założenia sceptycznie i pokazują, że mechanizm działa odwrotnie, niż się powszechnie zakłada.

Kluczowe wnioski

• Teoretyczny model ekonomiczny, oparty na optymalnej teorii żerowania (foraging theory) z ekologii behawioralnej, pokazuje, że AI zwiększa „koszt alternatywny” czasu naukowca – każda godzina spędzona na dopracowywaniu jednego projektu to godzina odebrana rozpoczęciu nowego.
• Autorzy celowo idealizują modele językowe: zakładają, że są bezbłędne i praktycznie bezpłatne, żeby wyodrębnić czysty efekt oszczędności czasu, niezależny od znanych słabości LLM-ów.
• Model przewiduje trzy scenariusze zależne od tego, na którym etapie badań stosuje się AI – w dwóch z nich jakość badań spada, a tylko w jednym rzeczywiście rośnie.
• Cytat z pracy: „Jako technologia wzmacniająca pracę, LLM-y zwiększają koszt alternatywny naszego czasu, zmuszając nas do robienia więcej, gorzej – a nie tego samego, lepiej”.
• Rzeczywiste dane z pola potwierdzają teorię: raport OpenAI odnotował do 60-krotnego przyspieszenia w przepisywaniu kodu badawczego, ale wąskie gardło przesunęło się na walidację i utrzymanie, a badanie METR wykazało, że programiści z AI pracowali w rzeczywistości 19 proc. dłużej, choć czuli się o 24 proc. szybsi.

Model żerowania zastosowany do nauki

Podstawą pracy jest matematyczny model zaadaptowany z teorii optymalnego żerowania – ramy opisującej, jak organizmy rozdzielają wysiłek między konkurujące ze sobą możliwości. Przeniesiona na grunt nauki, teoria opisuje, jak badacze rozdzielają swoją pracę między różne projekty i co się dzieje, gdy LLM-y skracają czas trwania poszczególnych faz cyklu badawczego.

W modelu projekt badawczy przebiega w dwóch fazach. Najpierw naukowiec sprawdza, czy dany pomysł jest w ogóle wykonalny, a następnie decyduje, czy go kontynuować, czy zrezygnować. Kontynuacja obejmuje część obowiązkową – przygotowanie wykresów, formatowanie tekstu, złożenie publikacji – oraz część dobrowolną, czyli dodatkowe eksperymenty, głębszą analizę czy dopracowanie prozy naukowej. To właśnie ta dobrowolna część jest, jak twierdzą autorzy, pierwszą ofiarą, gdy czas staje się dobrem rzadkim.

Dwa z trzech scenariuszy prowadzą do słabszych badań

Praca opisuje trzy scenariusze w zależności od tego, na którym etapie procesu badawczego stosowana jest AI.

W pierwszym scenariuszu AI pomaga oceniać wczesne idee. Naukowcy stają się bardziej wybredni, bo zaczynanie od nowa jest tańsze – do dalszej pracy przechodzą tylko najbardziej obiecujące projekty. Jednak nawet one otrzymują mniej dopracowane traktowanie, ponieważ zaoszczędzony czas lepiej zainwestować w rozpoczęcie kolejnego projektu. Autorzy wskazują, że ten wzorzec jest typowy dla dziedzin technicznych.

W drugim scenariuszu AI pomaga w samej publikacji – przyspiesza pisanie, formatowanie i analizę. Ponieważ wypuszczenie artykułu wymaga mniej wysiłku, warto podjąć się nawet słabszych projektów. Do obiegu wchodzi więcej publikacji, ale każda z nich jest płytsza. Ten wzorzec autorzy przypisują dyscyplinom opartym na pracy terenowej.

Tylko w trzecim scenariuszu AI faktycznie poprawia jakość badań. Dzieje się to wtedy, gdy technologia przyspiesza dobrowolną, głęboką fazę pracy – dodatkowe eksperymenty czy dokładniejszą analizę. Ponieważ AI trafia w ten właśnie etap, na którym naukowcy zawsze skracali sobie drogę z powodu presji czasu, oszczędzony czas przekłada się faktycznie na bardziej solidną pracę.

W dwóch z trzech przypadków dokładność badań więc spada. Gdy czas zyskuje na wartości, dopracowywanie artykułu, który już jest gotowy do publikacji, przestaje mieć sens ekonomiczny – lepiej ten czas przeznaczyć na kolejny projekt.

Iluzja zaoszczędzonego czasu w praktyce

Autorzy podsumowują to zjawisko jasno: modele językowe jako technologia wzmacniająca pracę zwiększają koszt alternatywny czasu badacza, co skłania go do robienia więcej, ale gorzej – a nie tego samego, lepiej. Przekonanie, że zaoszczędzony czas automatycznie przekłada się na głębszą analizę, nie znajduje potwierdzenia.

To, co model opisuje w teorii, już widać w praktyce. Raport OpenAI obejmujący osiem studiów przypadków naukowych wykazał nawet 60-krotne przyspieszenie przy przepisywaniu oprogramowania badawczego – ale wąskie gardło po prostu przesunęło się z kodowania na walidację i długoterminowe utrzymanie. Percepcja oszczędności czasu nie musi być nawet rzeczywista, by zmienić zachowanie: badanie METR wykazało, że doświadczeni programiści open source korzystający z narzędzi AI potrzebowali w rzeczywistości o 19 proc. więcej czasu na wykonanie zadań, mimo że czuli się o 24 proc. szybsi – wyniki, które można zestawić z analizą podważającą prostą formułę przyspieszenia AI opartą na FLOPach.

Napięcie to widać również w systemie publikacji naukowych. W dziedzinach, w których LLM-y przyspieszają pisanie, liczba zgłoszeń rośnie już bardzo szybko, obciążając przepracowany system peer review. AI Scientist-v2 od Sakana AI przepchnął w pełni wygenerowany przez AI artykuł przez warsztat ICLR – wraz z błędami w cytowaniach. Arxiv odpowiedział zaostrzeniem sankcji, grożąc rocznym zakazem zgłaszania publikacji za zmyślone źródła lub pozostawione w tekście komentarze wygenerowane przez AI.

Autorzy pracy argumentują, że reakcje instytucjonalne muszą być specyficzne dla danej dyscypliny, bo wpływ AI na badania nie jest jednorodnym przyspieszeniem – zależy od tego, który etap procesu zostaje skrócony. Podobną dynamikę opisuje niedawne badanie dotyczące branży programistycznej, nazywając ją „tragedią wspólnego pastwiska”: indywidualne korzyści z produktywności odbywają się na koszt osób, które później muszą przeglądać i utrzymywać powstałe efekty pracy – zjawisko, które przypomina obserwacje z badania nad tym, kiedy „umiejętności” pomagają agentom AI, a kiedy im szkodzą.

Wnioski z modelu wskazują więc na coś więcej niż akademicką ciekawostkę: sugerują, że proste wdrażanie AI w naukę bez uwzględnienia specyfiki danej dyscypliny może w praktyce prowadzić do zalewu płytszych publikacji, a nie do przełomowych, dokładniej zweryfikowanych odkryć.