Detektory AI mają problem z rozpoznaniem tekstów naśladujących styl autorów

Detektory tekstu AI mają problemy z rozpoznawaniem treści, gdy modele językowe naśladują styl konkretnych autorów. Badanie zespołu Epoch AI pokazuje, że popularne narzędzia jak Pangram, GPTZero i Originality.ai osiągają niemal perfekcyjną skuteczność przy standardowych tekstach AI, ale ich wydajność drastycznie spada, gdy sztuczna inteligencja celowo imituje sposób pisania określonego autora.

Testy obejmowały trzy najpopularniejsze detektory: Pangram (wersja 3.3.2), GPTZero (model 2026–05–11-base) oraz Originality.ai (Turbo 3.0.2). Badacze sprawdzili ich skuteczność na trzech kategoriach: autentyczne teksty ludzkie, teksty AI z prostych poleceń oraz teksty AI naśladujące styl konkretnego autora.

Kluczowe wnioski

• Detektory osiągają niemal perfekcyjną skuteczność przy zwykłych tekstach AI — wskaźnik fałszywie negatywnych wyników wynosi maksymalnie 0,7 procent.
• Przy tekstach imitujących styl autorów średnio 13 procent treści AI pozostaje niewykrytych, z najgorszymi wynikami dla Originality.ai (18 procent).
• Teksty naukowe stanowią największy problem — detektory nie rozpoznają od 24 do 29 procent treści AI naśladujących styl akademicki.
• Najgorsze wyniki notuje się w kombinacjach model-gatunek: Pangram przegapił 48 procent tekstów akademickich wygenerowanych przez Gemini.
• Mimo różnych metod działania wszystkie detektory wykazują identyczne słabości przy tekstach imitujących styl.

Metodologia badania i wyniki standardowe

Zespół Epoch AI zbudował korpus 495 ludzkich tekstów od 99 autorów, równomiernie podzielonych na blogi, fikcję i pisarstwo naukowe. Wszystkie teksty powstały przed premierą ChatGPT w listopadzie 2022 roku, co wyklucza kontaminację przez modele językowe.

W przypadku zwykłych tekstów AI wszystkie trzy detektory działały niemal bezbłędnie. Pangram i GPTZero nie wygenerowały ani jednego fałszywego alarmu przy tekstach ludzkich. Originality.ai jednak oznaczyło 19 z 495 ludzkich tekstów jako wygenerowane przez AI, co daje niepokojąco wysoki wskaźnik fałszywie pozytywnych wyników na poziomie 3,8 procent.

Drastyczny spadek skuteczności przy imitacji stylu

Sytuacja zmienia się diametralnie, gdy modele językowe otrzymują próbki pisania jako materiał referencyjny. Do testów wykorzystano trzy zaawansowane modele: Claude Opus 4.8, GPT-5.5 i Gemini 3.1 Pro. Każdy otrzymał pięć autentycznych fragmentów tekstów od autora z poleceniem napisania nowej treści w tym samym stylu.

Z 297 fragmentów wygenerowanych w ten sposób średnio 38 pozostało niewykrytych, co przekłada się na wskaźnik fałszywie negatywnych wyników około 13 procent. Pangram przegapił 10 procent tekstów imitujących styl, GPTZero — 11 procent, a Originality.ai aż 18 procent.

W przypadku fikcji wskaźnik fałszywie negatywnych wyników wynosił tylko 1–5 procent. Teksty naukowe przedstawiały zupełnie inny obraz. Pangram nie rozpoznał 25 procent akademickich tekstów AI imitujących styl, GPTZero przegapił 24 procent, a Originality.ai aż 29 procent.

Różne metody, identyczne słabości

Każdy z testowanych detektorów wykorzystuje inną metodę. Pangram opiera się na sieci neuronowej trenowanej na tekstach ludzkich i maszynowych, choć jego twórca nazywa system „czarną skrzynką”, ponieważ nie można prześledzić procesu podejmowania decyzji. GPTZero mierzy przewidywalność wyboru słów i jej wariancję w tekście, wychodząc z założenia, że modele językowe piszą bardziej jednolicie niż ludzie. Originality.ai wyszukuje wzorce statystyczne poznane podczas treningu na tekstach ludzkich i generowanych przez AI.

Pomimo różnic wszystkie detektory wykazują identyczny wzorzec: niemal zawsze wykrywają teksty z prostych poleceń, ale znacznie częściej przegapiają imitacje. Pisarstwo naukowe — gatunek, w którym detekcja AI prawdopodobnie znajduje największe zastosowanie w rzeczywistości — pozostaje najtrudniejsze do prawidłowego oznaczenia.

Badanie Epoch AI uzupełnia wcześniejsze testy Authors Guild, które wykazały, że Pangram i Originality.ai niezawodnie klasyfikują teksty ludzkie jako ludzkie. Nowe wyniki pokazują jednak, że niski wskaźnik fałszywych alarmów przy tekstach ludzkich niewiele mówi o tym, ile tekstów AI faktycznie przechodzi przez filtry.