Detektory halucynacji na małych modelach AI: ranking się odwraca
Audyt detektorów halucynacji na małych, kwantyzowanych LLM: ranking metod odwraca się między Llama i Qwen, a prosty test leksykalny dorównuje droższym metodom.

Źródło zdjęcia: arXiv.org
Popularne detektory halucynacji testuje się zwykle na dużych modelach. W praktyce wiele firm wdraża jednak małe, skompresowane modele działające bezpośrednio na urządzeniach. Shubhra Mittal i Gaurav Naresh Mittal sprawdzili, czy wnioski z dużych modeli przenoszą się na te mniejsze. Wynik ich audytu opublikowanego w serwisie arXiv nie jest pocieszający. Ranking skuteczności detektorów nie tylko się nie utrzymuje, ale odwraca przy przejściu z jednego małego modelu na drugi.
Praca trafiła do repozytorium arXiv 31 sierpnia 2026 roku w kategorii Artificial Intelligence (cs.AI). Ma dwa cele: dostarczyć praktykom wyniki, na których mogą się oprzeć, i wskazać błąd metodologiczny w powszechnie stosowanej procedurze oceny.
Kluczowe wnioski
- Ranking detektorów się odwraca. Kolejność czterech metod różni się między Llama-3.2–3B-Instruct a Qwen2.5–3B-Instruct. Współczynnik Spearmana wynosi −0,80, a Kendalla tau-b −0,667.
- Najtańsza metoda nie przegrywa. Prosty detektor leksykalny oparty na n-gramach jest statystycznie nieodróżnialny od kosztownych metod wymagających wielokrotnego próbkowania, na obu modelach.
- Wadliwe etykiety w TruthfulQA-Generation. Standardowy sposób oznaczania poprawności odpowiedzi daje wszystkim detektorom AUROC na poziomie bliskim losowemu (0,46–0,59).
- Cały eksperyment mieści się na jednej darmowej karcie. Audyt przeprowadzono na pojedynczym GPU Colab T4 z kwantyzacją 4-bitową NF4, a autorzy udostępniają kod, prompty i wyniki dla każdego pytania.
Luka między laboratorium a wdrożeniem
Autorzy zaczynają od diagnozy stanu badań. Dziedzinę wykrywania halucynacji zdominowały metody oceniane na modelach badawczych o wielkości od 7 do 70 miliardów parametrów. Testy prowadzi się przy dużych budżetach na próbkowanie, a poprawność odpowiedzi ocenia się metrykami dokładnego dopasowania (exact-match) lub ROUGE.
W produktach działających na urządzeniach trafiają się jednak zupełnie inne modele. Autorzy wymieniają Phi-3-mini, Llama-3.2–3B-Instruct, Qwen2.5–3B-Instruct i Gemma-2–2B-Instruct, zwykle uruchamiane w precyzji 4-bitowej. Według badaczy takie modele leżą poza bazą dowodową, na której opiera się dzisiejsza wiedza o detektorach halucynacji. Praktyk, który wybiera metodę na podstawie literatury, w istocie ekstrapoluje wyniki uzyskane w zupełnie innych warunkach.
Jak przeprowadzono audyt
Badanie objęło cztery detektory reprezentujące trzy podejścia:
- kalibrację marginesu tokenów znormalizowaną względem długości, czyli metodę opartą na pewności modelu przy generowaniu kolejnych tokenów;
- leksykalną bazę porównawczą opartą na n-gramach, najprostszą i najtańszą z badanych metod;
- dwie metody spójności oparte na próbkowaniu: entropię semantyczną (semantic entropy) oraz SelfCheckGPT-NLI.
Detektory sprawdzono na dwóch małych, otwartych modelach dostrojonych do wykonywania instrukcji: Llama-3.2–3B-Instruct i Qwen2.5–3B-Instruct. Oba załadowano z kwantyzacją 4-bitową NF4 na jednej karcie Colab T4. Zadaniem testowym był TriviaQA w wariancie closed-book, w którym model odpowiada na pytania faktograficzne wyłącznie z własnej „pamięci”, bez dostępu do zewnętrznych źródeł.
Konfiguracja jest celowo skromna. Audyt ma być w pełni odtwarzalny na jednym GPU, a więc na sprzęcie, do którego dostęp ma wielu niezależnych deweloperów i mniejszych zespołów.
Odwrócony ranking i tani detektor
Najważniejszy wynik dotyczy przenoszenia rankingów między modelami. Autorzy określają je jako słabe. Ujemne wartości współczynników korelacji rang (Spearman ρ = −0,80, Kendall τ-b = −0,667) oznaczają, że detektor dobrze wypadający na jednym modelu ma tendencję do słabego wyniku na drugim. Według badaczy ranking „aktywnie się odwraca”.
Konsekwencja praktyczna jest prosta. Zespół, który wybrał detektor po testach na jednym małym modelu, nie może zakładać, że ten sam wybór będzie optymalny po zmianie modelu na inny o podobnej wielkości.
Drugie odkrycie dotyczy kosztów. Tania leksykalna baza porównawcza okazała się statystycznie nieodróżnialna od detektorów opartych na próbkowaniu, i to na obu modelach. Autorzy ocenili istotność różnic za pomocą 95-procentowych przedziałów ufności wyznaczonych metodą bootstrap. Metody spójności wymagają wielokrotnego generowania odpowiedzi, co na urządzeniu z ograniczonymi zasobami oznacza wyraźny narzut obliczeniowy. W tym eksperymencie ten narzut nie przełożył się na statystycznie potwierdzoną przewagę.
Problem nie w detektorze, lecz w etykietach
Drugi wkład pracy ma charakter metodologiczny i dotyczy szerzej sposobu oceny modeli. Kwestię doboru metryk i procedur ewaluacji poruszaliśmy też przy okazji benchmarku MKA, mierzącego spełnianie wymagań ekspertów.
Autorzy przyjrzeli się zbiorowi TruthfulQA-Generation i standardowej procedurze etykietowania poprawności. Polega ona na porównaniu tokenów wygenerowanej odpowiedzi z odpowiedziami wielokrotnego wyboru. Przy tej procedurze wszystkie cztery detektory osiągnęły na obu modelach AUROC w przedziale 0,46–0,59, czyli wynik bliski losowemu, dla którego punktem odniesienia jest 0,5.
Badacze twierdzą, że winny jest sposób etykietowania, a nie same detektory. W identycznym potoku ewaluacyjnym, tylko na TriviaQA, te same metody osiągnęły AUROC od 0,69 do 0,89. Skoro detektory radzą sobie przyzwoicie w jednym zadaniu, a w drugim spadają do poziomu przypadku, źródłem problemu jest najpewniej procedura oznaczania poprawnych i błędnych odpowiedzi. Wniosek ma znaczenie dla każdego, kto porównuje metody wykrywania halucynacji na TruthfulQA-Generation. Wyniki oparte na tej procedurze mogą mówić więcej o jakości etykiet niż o jakości detektorów.
Wybór detektora jako kwestia sprawiedliwego rozkładu błędów
Autorzy udostępniają środowisko testowe (harness), użyte prompty oraz wyniki dla poszczególnych pytań, aby inni mogli powtórzyć i rozszerzyć eksperyment. Proponują też inne spojrzenie na wybór detektora. Ich zdaniem nie jest to wyłącznie szukanie metody z najwyższym wynikiem w rankingu. To problem alokacji wskaźników błędów z uwzględnieniem sprawiedliwości (fairness-of-error-rates), przed którym stają praktycy wdrażający modele na sprzęcie o ograniczonych zasobach.
Takie ujęcie wynika bezpośrednio z wcześniejszych ustaleń. Skoro ranking nie jest stabilny między modelami, a różnice między metodami często mieszczą się w granicach niepewności statystycznej, „najlepszy detektor” nie istnieje w oderwaniu od konkretnego wdrożenia.
Praca pokazuje, że wnioski z badań nad wykrywaniem halucynacji w dużych modelach nie przenoszą się automatycznie na małe, kwantyzowane modele działające na urządzeniach. Zespoły wdrażające takie systemy powinny testować detektory na własnym modelu i krytycznie oceniać same procedury etykietowania, na których opierają porównania.
Źródła
Podobne publikacje

HOPE od Amazon: przycinanie ekspertów MoE z uwzględnieniem współpracy
Metoda HOPE od badaczy Amazon przycina ekspertów w modelach MoE, uwzględniając ich współpracę. Przy 50% przycięciu wyraźnie wyprzedza REAP na SWE-Bench Pro.

GardenBench: lekki benchmark do codziennej oceny modeli LLM
GardenBench to nowy benchmark z 11 zestawami testów, który codziennie monitoruje wydajność, koszty i czas działania modeli LLM.

Qwen4-Max od Alibaby rzuca wyzwanie Opus 5.5 i GPT-6 niższą ceną
Qwen4-Max od Alibaby ma 2,4 bln parametrów, nową architekturę i koszt zadania niższy o dwie trzecie. Sprawdzamy benchmarki, ceny API i funkcję Live Delivery.