Naukowcy z indyjskich uczelni opracowali system REVELIO, który systematycznie wykrywa błędy modeli wizyjno-językowych w zastosowaniach krytycznych dla bezpieczeństwa. Badanie opublikowane na arXiv ujawnia dotychczas nieznane podatności najnowocześniejszych VLM w scenariuszach jazdy autonomicznej i robotyki domowej.
Modele wizyjno-językowe coraz częściej wykorzystywane są w aplikacjach wymagających najwyższego poziomu bezpieczeństwa ze względu na swoje szerokie możliwości rozumowania i zdolność do generalizacji. Jednak mogą wykazywać katastrofalne błędy w specyficznych sytuacjach rzeczywistych, co stanowi poważne zagrożenie.
Kluczowe wnioski
- System REVELIO identyfikuje tryby błędów jako kombinacje interpretowalnych konceptów domenowych, takich jak bliskość pieszych czy niekorzystne warunki pogodowe.
- W środowiskach drogowych modele wykazują słabe umocowanie przestrzenne i nie uwzględniają głównych przeszkód, prowadząc do rekomendacji skutkujących symulowanymi wypadkami.
- W robotyce domowej VLM albo pomijają zagrożenia bezpieczeństwa, albo zachowują się nadmiernie zachowawczo, generując fałszywe alarmy.
- Framework łączy wyszukiwanie beam search z strategią próbkowania Thompsona opartą na procesach Gaussa dla efektywnego mapowania krajobraz błędów.
- Badanie dotyczy modeli z maja 2026 roku, ujawniając strukturalne problemy w najnowszych systemach AI.
Innowacyjny framework REVELIO
Autorzy badania — Isha Chaudhary, Vedaant V Jain, Kavya Sachdeva, Sayan Ranu i Gagandeep Singh — zdefiniowali tryb błędu jako kompozycję interpretowalnych, istotnych dla domeny konceptów, w których docelowy VLM konsekwentnie zachowuje się niepoprawnie. Identyfikacja takich błędów wymaga przeszukiwania wykładniczo dużej dyskretnej przestrzeni kombinatorycznej.
REVELIO adresuje to wyzwanie poprzez połączenie dwóch procedur wyszukiwania. Pierwsza to świadome różnorodności wyszukiwanie beam search, które efektywnie mapuje krajobraz błędów. Druga to strategia próbkowania Thompsona oparta na procesach Gaussa, umożliwiająca szerszą eksplorację złożonych trybów błędów.
Krytyczne błędy w zastosowaniach praktycznych
Zespół zastosował REVELIO w domenach jazdy autonomicznej i robotyki domowej, odkrywając wcześniej niezgłaszane podatności w najnowocześniejszych modelach wizyjno-językowych. W środowiskach drogowych modele często demonstrują słabe umocowanie przestrzenne i nie uwzględniają głównych przeszkód, co prowadzi do rekomendacji skutkujących symulowanymi wypadkami.
W zadaniach robotyki domowej VLM albo pomijają zagrożenia bezpieczeństwa, albo zachowują się nadmiernie zachowawczo, produkując fałszywe alarmy i redukując efektywność operacyjną. Te odkrycia ujawniają fundamentalne ograniczenia w sposobie, w jaki współczesne modele przetwarzają i interpretują informacje wizualne w kontekście bezpieczeństwa.
Wpływ na rozwój bezpieczniejszej AI
Poprzez identyfikację strukturalnych i interpretowalnych trybów błędów, REVELIO oferuje praktyczne wglądy, które mogą wspierać celowane ulepszenia bezpieczeństwa VLM. Framework umożliwia developerom i badaczom systematyczne testowanie modeli w krytycznych scenariuszach, co może przyczynić się do opracowania bardziej niezawodnych systemów AI dla zastosowań wymagających najwyższego poziomu bezpieczeństwa.
