Jak zabezpieczenia AI utrudniają pracę badaczom cyberbezpieczeństwa

Giganci sztucznej inteligencji od miesięcy wprowadzają specjalne programy weryfikacyjne i ścisłe zabezpieczenia, aby ograniczyć wykorzystanie swoich modeli przez złośliwych hakerów. Te ograniczenia zaczynają jednak utrudniać pracę legalnym obrońcom sieci oraz badaczom cyberbezpieczeństwa ofensywnego. Szczegóły opisuje najnowszy raport TechCrunch.

W czerwcu amerykański rząd nałożył ograniczenia eksportowe na bardzo reklamowane modele AI firmy Anthropic — Mythos i Fable. Decyzja została podjęta przynajmniej częściowo w reakcji na raport, który twierdził, że możliwe jest ominięcie zabezpieczeń modeli zaprojektowanych w celu zapobiegania wykorzystywaniu ich do budowania i przeprowadzania złośliwych cyberataków.

Kluczowe wnioski

• Ograniczenia eksportowe na modele Fable 5 i Mythos 5 zostały zniesione — Fable 5 wrócił do ogólnego dostępu 1 lipca, a Mythos 5 jest dostępny tylko dla zweryfikowanych organizacji amerykańskich.
• OpenAI i Anthropic oferują specjalne programy dla badaczy cyberbezpieczeństwa: Trusted Access for Cyber oraz Cyber Verification Program, które wymagają weryfikacji i nadal mają ograniczenia.
• Badacze bezpieczeństwa skarżą się, że zabezpieczenia utrudniają potwierdzenie rzeczywistych luk w zabezpieczeniach i mogą szkodzić obrońcom systemów.
• Niektórzy specjaliści omijają problem, korzystając z otwartych modeli AI bez żadnych ograniczeń lub uruchamiając modele lokalnie.
• Zabezpieczenia działają niespójnie, zmuszając badaczy do „negocjowania z modelem” zamiast skupiania się na analizie bezpieczeństwa.

Problem z weryfikacją luk w zabezpieczeniach

Chris Anley, główny naukowiec w NCC Group — gigantycznej firmie konsultingowej ds. bezpieczeństwa — wyjaśnia, że prośba o wykorzystanie błędu przez model AI to kluczowy krok w potwierdzeniu, czy dana luka jest rzeczywistą podatnością wartą naprawienia. Jeśli zabezpieczenia każą modelowi odmówić odpowiedzi, szkodzi to obrońcom systemów.

”To tutaj pojawia się cała kwestia ofensywy kontra defensywa i zabezpieczeń, bo 'napraw ten kod' jako prompt to zarówno podstawowy mechanizm obrony, jak i mapa drogowa do znajdowania krytycznych luk w kodzie” — tłumaczy Anley. ”Ten sam narzędzie jest jednocześnie narzędziem ofensywnym i defensywnym, a tych dwóch aspektów nie da się od siebie oddzielić.”

Porównuje to do młotka: ”Nie można zbudować domu bez młotka. To zdecydowanie narzędzie, ale jednocześnie jest też nieuchronnie bronią.”

Gdy Anley i jego koledzy napotykają takie blokady, czasami uciekają się do otwartych modeli AI, które nie mają żadnych zabezpieczeń.

Różne strategie radzenia sobie z ograniczeniami

Paolo Stagno, dyrektor techniczny w Crowdfense — znanej firmie rozwijającej i sprzedającej nieznane luki rządom — zgadza się z krytyką, twierdząc, że firmy AI ”zasadniczo traktują klientów jak dzieci wymagające opieki” poprzez swoje programy weryfikacyjne i zabezpieczenia.

Stagno przyznaje, że korzysta z najnowocześniejszych modeli, ale tylko do reverse engineeringu. Unika używania AI do znajdowania luk czy budowania exploitów, ponieważ wprowadzanie takich danych do modeli chmurowych grozi wyciekiem wrażliwych informacji o lukach lub ich wchłonięciem w przyszłe procesy treningowe. Do tego etapu używa modeli open source uruchamianych lokalnie.

Z kolei Giuseppe Cali, badacz bezpieczeństwa specjalizujący się w zero-dayach i exploitach, twierdzi, że zabezpieczenia nie utrudniają mu pracy. Nie używa AI do pracy ofensywnej, lecz do wstępnego reverse engineeringu, zrozumienia analizowanego kodu i budowania narzędzi pomocniczych. ”Nadal chcę sam odkrywać błędy i je wykorzystywać, i to się nie zmieni, nawet gdyby jutro zniesiono wszystkie zabezpieczenia” — mówi. ”Jestem zazdrosny o swoje błędy i za bardzo lubię tę grę, żeby pozwolić modelom grać za mnie.”

Niespójność zabezpieczeń w praktyce

Chris Thompson, dyrektor generalny firmy cyberbezpieczeństwa RemoteThreat i założyciel konferencji Offensive AI Con, zauważa, że zabezpieczenia w najnowocześniejszych modelach AI mogą być niespójne i działać inaczej każdego dnia. Dotyczy to nawet luźniejszych granic w programach weryfikacyjnych Anthropic i OpenAI.

”Myślę, że praktyczny wpływ polega na tym, że spędza się dużo czasu na negocjowaniu z modelem zamiast pracy nad głównym programem bezpieczeństwa” — wyjaśnia Thompson. ”Zamiast analizować lukę i rozumować o możliwości jej wykorzystania, próbuje się zrozumieć, dlaczego otrzymuje się niespójne wyniki lub dlaczego modele nadmiernie sanityzują wyniki.”

Mark Dowd, znany badacz bezpieczeństwa z dziesięcioleciami doświadczenia w znajdowaniu i sprzedawaniu zero-dayów rządom zachodnim, wyraża niepokój, że ”nie jest dla mnie komfortowe, że te przypadkowe wielkie firmy podejmują arbitralne decyzje o tym, co jest bezpieczne w bezpieczeństwie, a co nie.”

Sytuacja pokazuje fundamentalny konflikt między potrzebą ochrony modeli AI przed nadużyciami a umożliwieniem legitymnej pracy badaczom bezpieczeństwa, którzy pomagają chronić systemy przed prawdziwymi zagrożeniami.