100 tysięcy powodów: jak rozpoznać treści generowane przez AI

Ekspert ds. bezpieczeństwa komputerowego Michał Zalewski opublikował fascynującą analizę dotyczącą rozpoznawania treści generowanych przez sztuczną inteligencję. W swoim artykule przedstawia konkretny przykład pokazujący, jak modele językowe wykazują charakterystyczne wzorce, które można rozpoznać nawet bez zaawansowanych narzędzi analitycznych.

Zalewski zebrał około 150 okładek książek z Amazon, które pojawiają się po wyszukaniu frazy „100000 whys”. Część z tych pozycji to bestsellery w kategorii literatury dziecięcej, ale wszystkie noszą znamiona treści generowanych przez AI.

Kluczowe wnioski

• Modele językowe wykazują quasi-deterministyczne zachowanie — podobne prompty generują niemal identyczne wyniki u około 80% autorów używających AI.
• Wszystkie okładki książek w górnym rzędzie zestawienia zawierają ryczącego dinozaura w lewym górnym rogu, co dowodzi powtarzalności wzorców AI.
• Charakterystyczne dla AI nie są indywidualne maniery, ale tendencja do stosowania tego samego zestawu złożonych manier w odpowiedzi na standardowe prompty.
• Tradycyjne modele interakcji online załamują się, gdy produkcja treści wymaga znacznie mniej wysiłku niż jej konsumpcja.

Problem identyfikacji treści AI

Zalewski odnosi się do częstej dyskusji w środowisku technologicznym o możliwości rozróżnienia tekstów pisanych przez ludzi i generowanych przez AI. Sceptycy argumentują, że skoro duże modele językowe to zaawansowane modele statystyczne ludzkiej mowy, ich output powinien być z definicji nieodróżnialny od ludzkiego języka w każdym teście statystycznym.

Autor zauważa jednak, że część tych debat może być prowadzona w złej wierze przez osoby chcące zachować możliwość zaprzeczenia własnemu wykorzystywaniu AI.

Wzorce w treściach generowanych przez AI

Analiza okładek książek ujawnia fascynujące wzorce wykraczające poza podobieństwo tytułów. Poza wspomnianym dinozaurem, w materiale powtarzają się inne elementy: czerwono-biała rakieta z kreskówki, golden retriever, lew i inne motywy graficzne.

To zjawisko ilustruje kluczową cechę pisania przez LLM — modele nie różnią się od ludzi indywidualnymi manierami, ale uciekają się do tego samego, złożonego zestawu manier w odpowiedzi na niemal każdy normalny prompt.

Praktyczne implikacje

Zalewski podkreśla, że chociaż sygnał rozpoznawania treści AI jest rozmyty i nie powinno się zwalniać stażysty za użycie fraz typu „to nie jest to — to jest tamto”, w bardziej nieformalnych sytuacjach warto zaufać swojemu instynktowi. Te intuicje stają się coraz ważniejsze w kontekście zmieniającej się natury komunikacji online.

Autor kończy praktyczną uwagą dla osób używających LLM do automatyzacji blogowania: technologia jest wprawdzie niesamowita, ale istnieje duże prawdopodobieństwo, że publikacja może zasłużyć na przemianowanie na „100 000 dlaczego”.