Bocconi: GPT-4o podnosi oceny, ale nie wiadomo czy uczy

Sztuczna inteligencja potrafi znacząco poprawić oceny studentów za pracę pisemną, ale wcale nie musi to oznaczać, że studenci więcej się nauczyli. Do takiego wniosku prowadzi eksperyment przeprowadzony na Uniwersytecie Bocconi, opisany w artykule serwisu THE DECODER. Badanie z udziałem ponad tysiąca studentów pierwszego roku pokazuje, że GPT-4o wyraźnie podniósł oceny za zadanie biznesowe, natomiast krótka lekcja z myślenia przyczynowo-skutkowego nie poprawiła tradycyjnych wyników, ale skłoniła studentów do bardziej zróżnicowanych i nietypowych rozwiązań.

Kluczowe wnioski

• W randomizowanym eksperymencie na 1053 studentach pierwszego roku Uniwersytetu Bocconi dostęp do GPT-4o podniósł oceny za pisemne zadanie marketingowe o blisko cały punkt na skali od 1 do 5.
• Odpowiedzi wspomagane przez GPT-4o zawierały średnio o dwa pomysły więcej, były bardziej spójne logicznie i bliższe rekomendacjom trzech ekspertów z danej branży.
• Krótka lekcja o myśleniu przyczynowo-skutkowym nie podniosła tradycyjnych ocen (były nawet nieco niższe), ale zwiększyła liczbę odpowiedzi wyjaśniających, dlaczego proponowane działanie miałoby zadziałać i kiedy mogłoby zawieść.
• Kryteria oceniania premiowały konwencjonalne, dobrze zbudowane odpowiedzi utrzymane w oczekiwanym schemacie, a karały większą oryginalność i odejście od pomysłów innych studentów.
• Nie przeprowadzono testu kontrolnego bez dostępu do ChatGPT, dlatego nie wiadomo, czy lepsze oceny przełożyły się na realnie większą wiedzę studentów.

Jak zaprojektowano eksperyment

Badanie przeprowadzono w listopadzie 2025 roku wśród 13 grup wprowadzającego kursu z zarządzania. Grupy podzielono losowo na cztery warianty: grupę kontrolną, grupę z lekcją o rozumowaniu przyczynowym, grupę z dostępem do GPT-4o oraz grupę korzystającą z obu elementów jednocześnie. Zadanie polegało na napisaniu rekomendacji marketingowych dla uniwersyteckiego sklepu z gadżetami – w formie tekstu do 180 słów. Lekcja obejmowała spójną logikę przyczynową, falsyfikowalność twierdzeń oraz analizę tego, jak proponowane działanie ma prowadzić do zamierzonego efektu.

Studenci korzystający z GPT-4o uzyskali oceny wyższe o niemal cały punkt na skali pięciostopniowej. Nawet po uwzględnieniu jakości argumentacji, liczby pomysłów, ich zróżnicowania i właściwości samego tekstu, przewaga wynikająca z użycia GPT-4o wciąż była mierzalna. Autorzy badania przypisują to wyższej jakości samej treści, a nie większej wiedzy studentów.

Kombinacja lekcji o rozumowaniu przyczynowym z dostępem do GPT-4o nie przyniosła dodatkowego wzrostu tradycyjnych ocen. Jednak w zakresie wskaźników rozumowania przyczynowego obie interwencje okazały się uzupełniać, a większe zróżnicowanie pomysłów z grupy objętej lekcją zostało zachowane.

System oceniania premiuje konwencjonalność

Analiza wykazała, że więcej pomysłów, bardziej spójne argumenty i większe zróżnicowanie idei w ramach jednej odpowiedzi korelowały z wyższymi ocenami. Natomiast silniejsza falsyfikowalność twierdzeń, bardziej szczegółowe wyjaśnienia mechanizmu działania proponowanych rozwiązań oraz większe odejście od pomysłów innych studentów wiązały się z niższymi ocenami.

To nie znaczy, że oryginalność była karana we wszystkich przypadkach – w tym konkretnym zadaniu tradycyjna ocena premiowała głównie dobrze skonstruowane odpowiedzi, które nie wykraczały poza oczekiwaną przestrzeń rozwiązań. Autorzy wnioskują, że jeśli różnorodność i oryginalność mają się liczyć, muszą zostać wprost wpisane w kryteria oceniania. Obecne systemy oceniania mierzą przede wszystkim dopracowanie, strukturę i kompletność pracy, a nie faktyczne uczenie się i rozumienie tematu – co ułatwia wykorzystanie AI jako narzędzia do oszukiwania.

Czego badanie nie wykazało

Kluczowym ograniczeniem eksperymentu jest brak testu następczego, w którym studenci musieliby wykazać rzeczywiste zrozumienie i zapamiętaną wiedzę bez dostępu do ChatGPT. Autorzy sami przyznają, że nie wiadomo, czy przewaga wyników związanych z GPT-4o wynikała z wiedzy faktycznie zdobytej przez studentów, czy jedynie z lepszego produktu wygenerowanego z pomocą AI. Badanie pokazuje więc poprawę wyników w konkretnym zadaniu, a nie poprawę samego uczenia się.

Eksperyment ograniczał się do studentów pierwszego roku jednego uniwersytetu, wykonujących wąsko zdefiniowane zadanie marketingowe. Randomizacja zachodziła na poziomie 13 grup zajęciowych, nie zaś indywidualnie wśród wszystkich 1053 studentów. Główną ocenę wystawiali ludzcy egzaminatorzy, którzy nie wiedzieli, do której grupy przypisany jest dany tekst, natomiast dodatkowe wskaźniki – jak rozumowanie przyczynowe czy zróżnicowanie pomysłów – oceniano przy użyciu modeli OpenAI i Anthropic. Warto zaznaczyć, że OpenAI dostarczyło technologię będącą przedmiotem badania i było zaangażowane w jego przeprowadzenie – kilku autorów pracuje lub pracowało w OpenAI w czasie trwania badania.

Inne badania wskazują na podobny wzorzec, ale w dłuższej perspektywie. Analiza ponad 500 tysięcy ocen studentów amerykańskich college'ów wykazała, że najwyższe oceny po premierze ChatGPT wzrosły najbardziej na kursach opartych na pisaniu i programowaniu, z dużym udziałem prac domowych. W kontrolowanych eksperymentach, po odebraniu dostępu do AI, uczestnicy radzili sobie gorzej niż grupa kontrolna – spadek był największy u tych, którzy głównie używali GPT do uzyskiwania gotowych odpowiedzi. Z kolei 30-miesięczne badanie ponad 26 tysięcy uczniów w Chinach pokazało, że prace domowe stawały się lepsze i szybciej wykonywane dzięki AI, ale wyniki egzaminów spadły – na późniejszych egzaminach wstępnych rezultaty były niższe o 18 do 24 procent w długim okresie. Uczniowie, którzy mimo dostępu do AI poświęcali na prace domowe tyle samo czasu co osoby nieużywające tych narzędzi, nie wykazywali takiego spadku.

Mimo rosnącej liczby dowodów wskazujących na ten problem, OpenAI przedstawia wyniki głównie jako wyzwanie dla systemów oceniania: jeśli AI może wyprodukować dopracowaną, ekspercką pracę, sam gotowy produkt mówi coraz mniej o tym, co studenci naprawdę rozumieją. Autorzy badania apelują o systemy oceniania, które premiują proces myślenia, a nie tylko finalny efekt.

Badanie z Bocconi wpisuje się w szerszy trend obserwowany także w innych opracowaniach – jak analizy dotyczące wpływu chatbotów na zdolność wykrywania dezinformacji – że kluczowym pytaniem nie jest, czy uczniowie korzystają z AI, ale czy narzędzie wspiera ich własne myślenie, czy je zastępuje. Gdy je zastępuje, uczenie się wypada na tym najgorzej.