10 minut z ChatGPT wystarczy, by mózg przestał się wysilać

Wystarczy kilka minut spędzonych z ChatGPT, żeby po jego wyłączeniu trudniej było samodzielnie wrócić do pracy umysłowej. Jak informuje spidersweb.pl, naukowcy z Carnegie Mellon University, Uniwersytetu Kalifornijskiego w Berkeley, MIT, Oksfordu i UCLA przeprowadzili serię trzech eksperymentów z udziałem 1222 osób, które pokazały coś więcej niż spadek skuteczności – uczestnicy przyzwyczajeni do gotowych odpowiedzi znacznie częściej po prostu poddawali się, gdy musieli poradzić sobie bez cyfrowego pomocnika.

Problem pojawiał się niemal natychmiast, a jego skala zależała od tego, w jaki sposób badani wcześniej korzystali z AI – czy prosili o konkretne wyniki, czy raczej o wskazówki i wyjaśnienia.

Kluczowe wnioski

• Po odebraniu dostępu do ChataGPT uczestnicy, którzy wcześniej z niego korzystali, rozwiązywali zadania matematyczne poprawnie w 57–71 proc. przypadków, wobec 73–77 proc. w grupie, która nie miała dostępu do AI.
• Osoby przyzwyczajone do pomocy chatbota częściej pomijały zadania – w pierwszym eksperymencie aż 20 proc. zadań wobec 11 proc. w grupie kontrolnej.
• Kluczowy okazał się sposób korzystania z AI: osoby proszące o gotowe odpowiedzi uzyskały później średnio 65 proc. poprawnych wyników, a te korzystające z podpowiedzi – 76 proc., czyli wynik zbliżony do grupy, która nie miała dostępu do AI wcale.
• Efekt nie ograniczał się do matematyki – w trzecim eksperymencie, dotyczącym czytania ze zrozumieniem na poziomie zadań egzaminu SAT, grupa korzystająca wcześniej z AI osiągnęła 76 proc. poprawnych odpowiedzi wobec 89 proc. w grupie samodzielnej.

Jak przebiegały eksperymenty

W pierwszym badaniu wzięło udział 354 osoby, które otrzymały 15 zadań z ułamków. Jedna grupa pracowała samodzielnie od początku, druga miała dostęp do ChataGPT, który mógł podpowiadać rozwiązania lub po prostu podawać gotowe odpowiedzi. Przez pierwsze 12 zadań sytuacja wyglądała jednoznacznie na korzyść AI – osoby korzystające z chatbota znacznie częściej rozwiązywały zadania poprawnie, bo wystarczyło wpisać pytanie, żeby model przedstawił wynik wraz z rozwiązaniem.

Problem zaczął się, gdy naukowcy niespodziewanie wyłączyli chatbota przed ostatnimi trzema zadaniami, które obie grupy musiały rozwiązać już bez pomocy. Sytuacja się odwróciła: uczestnicy przyzwyczajeni do AI zaczęli popełniać więcej błędów, podczas gdy osoby pracujące samodzielnie radziły sobie wyraźnie lepiej. Po uwzględnieniu kryteriów jakości danych odsetek poprawnych odpowiedzi wyniósł 57 proc. w grupie korzystającej wcześniej z AI i 73 proc. w grupie kontrolnej.

Co istotne, uczestnicy mogli pominąć dowolne zadanie – nie czekały ich za to żadne kary, a za poprawne odpowiedzi nie otrzymywali premii. Decyzja o rezygnacji z zadania stała się więc dodatkową miarą gotowości do podejmowania wysiłku, a nie tylko wskaźnikiem braku umiejętności.

Drugi eksperyment, przeprowadzony na grupie 667 osób, uzupełniono o wstępne sprawdzenie umiejętności, żeby wykluczyć możliwość, że jedna grupa od początku radziła sobie gorzej od drugiej. Wyniki ponownie przemawiały na niekorzyść osób korzystających z AI – po wyłączeniu chatbota poprawnie rozwiązywały one 71 proc. zadań, wobec 77 proc. w grupie kontrolnej. Tym razem różnica w częstości pomijania zadań dla całych grup nie była już statystycznie istotna, ale pojawiła się istotna wskazówka co do mechanizmu całego zjawiska.

Gotowe odpowiedzi szkodzą bardziej niż podpowiedzi

W drugim eksperymencie 61 proc. osób z dostępem do AI zadeklarowało, że korzystało z niej głównie w celu otrzymania gotowych odpowiedzi. Kolejne 27 proc. prosiło przede wszystkim o podpowiedzi i wyjaśnienia. Właśnie między tymi dwiema grupami pojawiły się wyraźne różnice w dalszych wynikach.

Uczestnicy, którzy odbierali od chatbota gotowe rozwiązania, uzyskiwali później średnio 65 proc. poprawnych odpowiedzi. Ci, którzy wykorzystywali AI do otrzymywania wskazówek, osiągali 76 proc. – wynik bardzo zbliżony do 77 proc. uzyskanych przez grupę kontrolną, która nie miała dostępu do chatbota wcale. Osoby proszące o gotowe rozwiązania częściej pomijały też zadania niż te, które wykorzystywały AI do zrozumienia problemu, a nie samego wyniku.

Autorzy badania zaznaczają jednak ograniczenie tego porównania: uczestnicy sami decydowali, w jaki sposób korzystać z chatbota, więc nie można z taką samą pewnością przypisać różnic wyłącznie sposobowi używania AI – mogły na nie wpływać też inne, nieujęte w badaniu czynniki. Niezależnie od tego rozróżnienia, wyniki wpisują się w szerszy obraz opisywany już wcześniej przez badaczy sprawdzających, czy AI pomaga w nauce, czy stopniowo zastępuje ćwiczenie własnych umiejętności.

Efekt nie dotyczy tylko matematyki

Pozostawało pytanie, czy obserwowany efekt to specyfika zadań matematycznych – rozwiązywanie ułamków wymaga znajomości reguł, które łatwo zapomnieć albo których ktoś mógł nigdy dobrze nie opanować. Dlatego trzeci eksperyment dotyczył czytania ze zrozumieniem. Wzięło w nim udział 201 osób, które otrzymały zadania podobne do tych wykorzystywanych na amerykańskich egzaminach SAT.

Schemat był zbliżony do wcześniejszych doświadczeń: jedna grupa korzystała przez krótki czas z pomocy AI, druga pracowała samodzielnie, a następnie wszyscy musieli odpowiadać na kolejne pytania już bez chatbota. Rezultat ponownie okazał się podobny do eksperymentów matematycznych. Grupa korzystająca wcześniej z AI osiągnęła 76 proc. poprawnych odpowiedzi, podczas gdy osoby samodzielne uzyskały 89 proc. Wskaźnik pomijanych zadań wyniósł odpowiednio 8 proc. i 1 proc.

Eksperymenty pokazały więc podobny efekt w dwóch odmiennych dziedzinach – naukowcy nie zaobserwowali wyłącznie pogorszenia wyników po odebraniu „kalkulatora do ułamków”. Również podczas analizy tekstów wcześniejszy dostęp do gotowych odpowiedzi wiązał się z mniejszą skutecznością i wyższą skłonnością do poddawania się, co sugeruje, że problem dotyczy raczej ogólnej gotowości do samodzielnego wysiłku poznawczego niż konkretnej umiejętności.

Krótkotrwałe korzystanie z gotowych odpowiedzi generowanych przez AI może więc – w świetle opisanych wyników – szybko i wymiernie obniżać samodzielną skuteczność oraz wytrwałość w rozwiązywaniu zadań, niezależnie od tego, czy dotyczą one matematyki czy czytania ze zrozumieniem. Kluczowym czynnikiem różnicującym skalę tego efektu okazał się sposób wykorzystywania chatbota – proszenie o podpowiedzi i wyjaśnienia szkodziło znacznie mniej niż oczekiwanie gotowych rozwiązań.