Chiński model Kimi K3 dramatycznie ustępuje amerykańskim systemom AI w cyberbezpieczeństwie

Chiński model sztucznej inteligencji Kimi K3 znacząco ustępuje amerykańskim systemom AI w zadaniach związanych z cyberbezpieczeństwem. Wspólna ocena przeprowadzona przez Brytyjski Instytut Bezpieczeństwa AI i Amerykańskie Centrum Standardów i Innowacji AI wykazała poważne luki w możliwościach ofensywnych operacji cybernetycznych tego modelu, jak donosi serwis The Decoder.

Badania ujawniły nie tylko różnice w możliwościach technicznych, ale również potencjalne przyczyny tej dysproporcji, które mogą być związane z metodami trenowania chińskich modeli AI.

Kluczowe wnioski

• Kimi K3 osiągnął wynik 32,2% w benchmarku ExploitBench, podczas gdy wiodące modele amerykańskie uzyskały średnio 76,2%
• Model nie zdołał osiągnąć najwyższego poziomu eksploitacji (ACE) w żadnym z 41 testowanych zadań, w przeciwieństwie do amerykańskich systemów, które osiągnęły ten poziom w 20 przypadkach
• W symulacji ataku sieciowego „The Last Ones” Kimi K3 dotarł średnio do kroku 17 z 32, podczas gdy amerykańskie modele osiągnęły 28,5 kroku
• Słabe wyniki mogą wynikać z użycia techniki destylacji, gdzie Kimi K3 był trenowany na odpowiedziach Claude'a, które nie zawierały zaawansowanych możliwości cybernetycznych ze względu na filtry bezpieczeństwa
• Chińskie modele konsekwentnie pozostają w tyle za amerykańskimi o około 4–7 miesięcy w rozwoju możliwości cybernetycznych

Drastyczne różnice w testach cyberbezpieczeństwa

Brytyjski Instytut Bezpieczeństwa AI (UK AISI) i Amerykańskie Centrum Standardów i Innowacji AI (CAISI) wykorzystały benchmark ExploitBench opracowany przez Uniwersytet Carnegie Mellon do testowania umiejętności tworzenia exploitów. Test używa 41 podatności znalezionych w silniku V8 przeglądarki Chrome po 2023 roku, aby śledzić postęp modelu w procesie eksploatacji oprogramowania.

Kimi K3 nie osiągnął najwyższego poziomu znanego jako Arbitrary Code Execution (ACE) w żadnym z 41 zadań. ACE to najbardziej poważny poziom exploitu, ponieważ daje atakującym pełną kontrolę nad docelowym systemem. Tymczasem wiodące amerykańskie modele osiągnęły ACE w połowie testowanych przypadków.

Warto zauważyć, że instytuty testowały amerykańskie modele z wyłączonymi zabezpieczeniami na poziomie systemu, aby zmierzyć ich maksymalne możliwości. Te zabezpieczenia są włączone w publicznie dostępnych wersjach.

Symulacja ataku korporacyjnego ujawnia ograniczenia

Drugi test, „The Last Ones” (TLO), symuluje atak na sieć korporacyjną z 32-etapową ścieżką ataku obejmującą cztery podsieci i około 20 hostów. Według instytutów, ekspert ludzki potrzebowałby około 20 godzin na jej ukończenie.

Kimi K3 dotarł średnio do kroku 17 z 32, w porównaniu z 28,5 kroku dla wiodących modeli amerykańskich i zaledwie 11 dla chińskiego GLM-5.2. Model ukończył całą ścieżkę ataku w jednej z dziesięciu prób, pozostając w limicie 100 milionów tokenów, co pokazuje, że ma taką możliwość, ale nie może na nią polegać.

„Kimi K3 jest w stanie autonomicznie atakować małe, słabo bronione i podatne systemy korporacyjne, gdy zostanie do tego skierowany i otrzyma początkowy dostęp do sieci” — stwierdzają autorzy raportu.

Hipoteza destylacji jako wyjaśnienie słabych wyników

Wyniki Kimi K3 mogą wspierać oskarżenia o destylację przeciwko chińskim twórcom modeli. Amerykański doradca naukowy Michael Kratsios niedawno oskarżył Moonshot AI o „destylację” modelu Fable firmy Anthropic poprzez wykorzystanie najlepszych odpowiedzi Fable jako danych treningowych w celu zwiększenia wydajności Kimi K3.

Jednym z wyjaśnień różnicy między silnymi wynikami w ogólnych benchmarkach a słabymi wynikami cybernetycznymi może być to, że Kimi K3 był trenowany głównie na odpowiedziach Claude'a obejmujących wiedzę ogólną, programowanie i zadania agentowe. Klasyfikatory bezpieczeństwa Anthropic specjalnie blokują zaawansowane ofensywne zapytania cybernetyczne, więc te odpowiedzi byłyby niedoreprezentowane w zbiorze danych destylacji zbudowanym z odpowiedzi Claude'a.

Analiza szeregów czasowych przeprowadzona przez CAISI śledzi możliwości cybernetyczne modeli amerykańskich i chińskich od początku 2025 roku w skali opartej na Elo. Obie linie trendu rosną, ale chińskie modele konsekwentnie pozostają w tyle za swoimi amerykańskimi odpowiednikami.

Wyniki badania potwierdzają rosnące możliwości chińskich modeli AI, ale jednocześnie ujawniają znaczące luki technologiczne, które mogą mieć istotne implikacje dla globalnego bezpieczeństwa cybernetycznego i konkurencyjności technologicznej.