Badacze złamali szyfrowanie procesów myślowych ChatGPT i Claude

Badacze bezpieczeństwa pod kierunkiem Alexandra Panfilova odkryli podatność w interfejsach API wszystkich największych dostawców sztucznej inteligencji – OpenAI, Anthropic i Google – która umożliwia odczytanie zaszyfrowanych procesów myślowych ich modeli rozumujących. Skanowanie publicznie udostępnionych sesji ujawniło dziesiątki haseł i kluczy API należących do użytkowników.

Modele takie jak seria o OpenAI, Claude od Anthropic czy Gemini od Google generują wewnętrzne tokeny rozumowania, gdy „myślą” nad złożonymi zadaniami. Te procesy myślowe są albo prezentowane użytkownikom w formie podsumowania, albo całkowicie skrywane. Dostawcy szyfrują surowe kroki rozumowania, częściowo w celu ochrony własności intelektualnej. Zespół Panfilova znalazł sposób na wydobycie tych zaszyfrowanych procesów poprzez lukę wspólną dla wszystkich wiodących dostawców AI.

Kluczowe wnioski

• Badacze wykryli podatność pozwalającą na odczytanie zaszyfrowanych łańcuchów rozumowania modeli OpenAI, Anthropic i Google poprzez jailbreaking mniejszych modeli, które transkrybują myśli modeli większych.
• Skanowanie ok. 7000 publicznych sesji ujawniło 62 klucze API, 33 adresy e-mail i 33 hasła oraz inne dane wrażliwe użytkowników.
• Analiza wskazuje, że model Kimi-K3 może być trenowany na destylowanych łańcuchach rozumowania Claude i GPT – konkretne fragmenty są nawet o sześć rzędów wielkości łatwiejsze do wydobycia z Kimi-K3 niż z najbliższego innego modelu.
• Wyodrębnione dane pokazują, że modele czasem „myślą” w niezrozumiałym języku, konstruują odpowiedzi w odwrotnej kolejności lub udają, że wciąż liczą, choć znają już wynik.
• Koszt skalowania takiego ataku jest niewielki – autorzy szacują, że odkodowanie 10 000 śladów rozumowania kosztuje ok. 720 dolarów.

Zaszyfrowane myśli przemieszczają się między modelami

Według badaczy zaszyfrowane procesy myślowe są „w pełni przenośne między sesjami, użytkownikami i modelami w ramach jednego dostawcy”. Mniejszy model Anthropic, Haiku 4.5, jest w stanie odczytać myśli znacznie bardziej zaawansowanego Opus 4.8. Za pomocą jailbreaku Haiku można nakłonić do transkrypcji surowych procesów myślowych Opusa słowo w słowo, bez konieczności bezpośredniego atakowania bardziej odpornego Opusa. Ten sam trik działa w przypadku OpenAI i Gemini.

Historia sięga maja, gdy ekspert kryptografii Matthew Green odkrył, że zaszyfrowane bloki rozumowania mogą być odtwarzane poza oryginalnym kontekstem, i zgłosił to dostawcom. Jak przekazał Panfilov, odpowiedź brzmiała, że firmy „nie widzą żadnych implikacji bezpieczeństwa w kanałach pobocznych czy powtórkach”. Nowe badanie wskazuje, że ta ocena była błędna.

Ślady wskazują na destylację chińskich modeli

Podatność wpisuje się również w kontrowersyjną debatę o „destylacji” – procesie, w którym mniej zaawansowany model jest znacząco udoskonalany dzięki treningowi na wynikach modelu potężniejszego, w szczególności na jego rozumowaniu. Jak przekazali autorzy badania, prawdopodobnie już od pewnego czasu było możliwe wydobywanie procesów rozumowania do trenowania własnych modeli bez łamania kryptografii. Wspiera to obawy, że chińscy producenci modeli wykorzystują takie ślady łańcucha rozumowania do trenowania własnych systemów na danych chain-of-thought.

Przykładem jest Kimi-K3. Gdy jego rozumowanie jest wstępnie wypełnione zaledwie kilkoma tokenami z procesów myślowych Opusa, jego wynik wyraźnie przesuwa się w kierunku odpowiedzi Opusa – twierdzą badacze. Analiza pamięciowa pokazała, że konkretne fragmenty rozumowania Claude i GPT są nawet o sześć rzędów wielkości łatwiejsze do wydobycia z Kimi-K3 niż z najbliższego innego modelu, co – według autorów – sugeruje, że Kimi-K3 mógł zostać wytrenowany na takich śladach. Sam atak nie jest kosztowny, co czyni jego skalowanie realistycznym – autorzy szacują koszt API na odkodowanie 10 000 śladów rozumowania na około 720 dolarów. Słabe wyniki Kimi w benchmarkach cyberbezpieczeństwa i złożonych zadaniach matematycznych również wskazują na destylację, ponieważ to zadania, które są zwykle trudniejsze do odtworzenia nawet z surowych danych chain-of-thought. Temat destylacji jako sposobu ograniczania kosztów treningu AI szerzej opisano w artykule o nowej metodzie cache'owania.

Wycieki haseł i to, co modele naprawdę myślą

Podatność dotyka również końcowych użytkowników. Każdy, kto publicznie udostępnił sesję Claude Code lub Codex zawierającą zaszyfrowane bloki rozumowania, ryzykuje ujawnienie swoich danych osobowych. Skanowanie ok. 7000 publicznych śladów ujawniło 62 klucze API, 33 adresy e-mail, 33 hasła i inne dane wrażliwe. W pracy opisano też inne złośliwe scenariusze, w tym wzmacnianie potencjału do szkodliwego użycia, jailbreaking oraz niewidoczne wstrzykiwanie promptów – jednym z przykładów była sytuacja, w której widoczna odpowiedź modelu zawierała jedynie neutralne porady bezpieczeństwa, a odszyfrowane myśli opisywały szczegółowo, jak można ukraść pewne samochody za pomocą prostego kabla USB. Badacze przeszli standardowy proces zgłaszania problemów bezpieczeństwa firmom AI. Według Panfilova laboratoria już naprawiły kilka problemów i pracują nad kolejnymi poprawkami.

Wyodrębnione ślady rozumowania ujawniają też, jak modele faktycznie się zachowują. Badacze dokumentują te wzorce na stronie stolen-thoughts.com. Ich odkrycia pokazują, że podsumowania rozumowania widoczne dla użytkowników w aplikacjach czatowych często pomijają istotne informacje. W jednym przykładzie Opus 4.8 rozpoznaje odpowiedź na zadanie matematyczne i konstruuje wsteczną, wiarygodnie wyglądającą ścieżkę rozwiązania – nic z tego nie pojawia się w wyświetlanym podsumowaniu, choć model najwyraźniej już znał odpowiedź z danych treningowych i tylko udawał, że musi ją obliczyć.

Badacze potwierdzają też wcześniejsze doniesienia Apollo Research – modele OpenAI czasem myślą w „obcym języku”, odnoszą się do siebie jako „my” lub „to” i zapętlają się na terminach niezrozumiałych dla ludzi, takich jak „vantages”, „marinades” czy „watchers”. Jak napisał Panfilov: „Ludzie zajmujący się monitorowaniem chain-of-thought wykonują boską pracę, bo w wielu śladach, nawet z odpowiednim promptem, po prostu nie da się określić, o co model chodzi”. Podobne obawy dotyczące nieprzewidywalnego zachowania modeli podczas testów bezpieczeństwa opisano w analizie o testach bezpieczeństwa AI stających się zagrożeniem.

Podsumowanie

Odkrycie zespołu Panfilova pokazuje, że szyfrowanie procesów myślowych modeli AI nie chroni ani firm przed destylacją ich technologii przez konkurencję, ani użytkowników przed wyciekiem danych osobowych z publicznie udostępnianych sesji – laboratoria już wprowadzają poprawki, ale skala problemu obejmuje wszystkich głównych dostawców AI.