Czytelnicy oceniają opowiadania AI wyżej niż ludzkie, dopóki nie wiedzą o ich pochodzeniu

Nowe badanie ujawnia zaskakującą prawdę o percepcji sztucznej inteligencji w twórczości literackiej. Czytelnicy nie potrafią odróżnić opowiadań napisanych przez ChatGPT od tych stworzonych przez ludzi, a nawet oceniają teksty AI wyżej — ale tylko dopóki nie wiedzą, że powstały maszynowo. Szczegóły badania zostały opublikowane w czasopiśmie Judgment and Decision Making.

Eksperymenty przeprowadzone przez badaczki Sydney Sears i Deena Skolnick Weisberg z udziałem ponad 2500 uczestników pokazują, jak głęboko zakorzenione są nasze uprzedzenia wobec twórczości sztucznej inteligencji.

Kluczowe wnioski

• Uczestnicy badania nie potrafili odróżnić opowiadań ChatGPT od tekstów ludzkich autorów — wyniki były na poziomie przypadku.
• Opowiadania AI otrzymały wyższe oceny za jakość (1,54 vs 0,97 w skali od -3 do +3) i wciągający charakter (1,42 vs 1,00) niż teksty ludzkie.
• Gdy uczestnicy wiedzieli, że tekst napisał człowiek, oceniali go wyżej niezależnie od rzeczywistego autorstwa.
• Nawet przy bezpośrednim porównaniu dwóch opowiadań — jednego ludzkiego i jednego z AI — uczestnicy nie potrafili wskazać, które jest które.
• Doświadczenie z systemami AI, a nie z literaturą, korelowało z lepszą zdolnością rozpoznawania autorstwa tekstów.

Metodologia eksperymentów

W pierwszym eksperymencie 1682 uczestników przeczytało jedno z sześciu opowiadań liczących około 1000 słów każde. Połowa tekstów pochodziła z uznanych magazynów literackich i zbiorów opowiadań, druga połowa została wygenerowana przez ChatGPT 4.0. AI otrzymała prompty oparte na temacie, stylu i perspektywie narracyjnej ludzkich oryginałów.

Kluczowym elementem badania była manipulacja informacją o autorstwie. Połowie uczestników powiedziano, że tekst napisał człowiek, a drugiej połowie — że powstał w ChatGPT. Informacja była prawdziwa tylko dla połowy osób w każdej grupie, co pozwoliło badaczkom zmierzyć wpływ uprzedzeń na oceny.

Wyniki jednoznacznie pokazały przewagę tekstów AI w oczach czytelników. Opowiadania wygenerowane przez sztuczną inteligencję otrzymały średnią ocenę 1,54 za jakość wobec 0,97 dla tekstów ludzkich. Podobnie było z oceną wciągającego charakteru — 1,42 dla AI wobec 1,00 dla ludzi.

Wpływ uprzedzeń i postaw wobec AI

Badanie ujawniło silny wpływ sugerowanego autorstwa na oceny uczestników. Niezależnie od rzeczywistego pochodzenia tekstu, uczestnicy dawali wyższe oceny, gdy mówiono im, że autorem jest człowiek. Ten efekt był szczególnie widoczny wśród osób sceptycznie nastawionych do sztucznej inteligencji.

Z kolei uczestnicy pozytywnie nastawieni do AI generalnie wystawiali wyższe oceny wszystkim tekstom. Gdy dodatkowo wiedzieli, że opowiadanie powstało w ChatGPT, ich oceny rosły jeszcze bardziej. Wśród AI-sceptyków ten efekt działał odwrotnie.

W dwóch kolejnych eksperymentach z 905 uczestnikami badaczki utrudniły zadanie — każda osoba czytała zarówno tekst ludzki, jak i wygenerowany przez AI, a następnie musiała wskazać, który jest który. Nawet przy bezpośrednim porównaniu wyniki nie przekroczyły poziomu przypadku.

Dlaczego AI wypada lepiej?

Według autorek badania teksty generowane przez sztuczną inteligencję są zazwyczaj płynniejsze, łatwiejsze w odbiorze i bardziej optymistyczne emocjonalnie niż utwory ludzkich autorów. Te cechy mogą wyjaśniać wyższe oceny, nie oznaczając wcale, że opowiadania AI są lepsze w sensie literackim.

Wysokiej jakości literatura często celowo stawia przed czytelnikiem wyzwania i zmusza go do wysiłku w poszukiwaniu znaczeń. Tekst może być wysokiej jakości, ale niekoniecznie angażujący, i na odwrót — sugerują badaczki. Format krótkiego opowiadania również prawdopodobnie sprzyja AI, ponieważ opowiedzenie spójnej historii na 1000 słów to zupełnie inne wyzwanie niż stworzenie powieści na setki stron.

Badanie dostarcza kolejnych dowodów na to, że sztuczna inteligencja może tworzyć dzieła postrzegane przez ludzi jako równorzędne z twórczością ludzką, mimo że większość osób nie wierzy w takie możliwości AI.