Claude pomagał w badaniach nad bronią biologiczną – Anthropic reaguje

Anthropic ujawniło, że jego modele Claude zostały wykorzystane przez naukowców do prac, które mogły przyczynić się do rozwoju broni biologicznej. Jak informuje spidersweb.pl, firma zablokowała konta powiązane z tymi działaniami, ale otwarcie przyznaje, że w części przypadków nie była w stanie ustalić, czy prowadzone badania miały charakter czysto naukowy, czy zmierzały w stronę opracowania niebezpiecznych patogenów.

Ten problem to nie odosobniony incydent, a fragment szerszego raportu firmy dotyczącego niewłaściwego wykorzystywania modeli Claude w ciągu ostatnich ośmiu miesięcy. Dokument opisuje przypadki sięgające znacznie dalej niż tylko zagrożenia biologiczne – od propagandy politycznej po tworzenie oprogramowania dla broni konwencjonalnej.

Kluczowe wnioski

• Anthropic opisało w raporcie pięć przypadków wykorzystania Claude'a w badaniach związanych z potencjalną bronią biologiczną, m.in. w pracach nad wirusem chikungunya i ptasią grypą.
• W jednym z przypadków plan zakładał modyfikację wirusa chikungunya metodą gain of function przy wojskowym instytucie badawczym, a badania miały obejmować infekowanie żywych zwierząt.
• Firma nie jest w stanie jednoznacznie potwierdzić intencji użytkowników – jak podkreśla szef zespołu ds. wywiadu zagrożeń Jacob Klein, sytuacja jest „niezwykle zniuansowana”.
• Część naukowców próbowała omijać ograniczenia regionalne i ukrywać prawdziwy cel badań przed systemami bezpieczeństwa Claude'a.
• Raport wskazuje też na nadużycia poza obszarem biologii: rosyjską propagandę wyborczą w Mołdawii oraz sześć przypadków wsparcia dla oprogramowania związanego z bronią konwencjonalną (Chiny, Rosja, Jemen).

Badania nad wirusami pod lupą systemu bezpieczeństwa

Najbardziej niepokojący przypadek opisany w raporcie dotyczy wykorzystania Claude'a do przygotowania wniosku o grant na badania nad wirusem chikungunya. Biologiczny system bezpieczeństwa Anthropic wykrył to zapytanie w maju tego roku. Plan zakładał laboratoryjne badania typu gain of function – modyfikowanie wirusa w sposób zwiększający jego zdolność do przenoszenia się oraz unikania odpowiedzi immunologicznej organizmu. Badania miały obejmować również infekowanie żywych zwierząt, a dodatkowym sygnałem ostrzegawczym był fakt, że prace planowano prowadzić przy wojskowym instytucie badawczym.

• Nie wiemy, czy badania miały zostać wykorzystane do stworzenia broni. Jednak wojskowa instytucja prowadząca badania gain of function budzi obawy – powiedział Jacob Klein w rozmowie z The New York Times.

Anthropic opisało również podobny przypadek dotyczący badań nad ptasią grypą, a w kolejnym naukowiec korzystał z Claude'a przy tworzeniu atlasu peptydów toksyn jadowych oraz generatywnego procesu optymalizującego właściwości toksyn. We wszystkich przypadkach firma zastosowała środki ostrożności i zablokowała powiązane konta, nawet bez pewności co do rzeczywistych intencji użytkowników.

Raport nie podaje nazwisk naukowców ani nazw instytucji związanych z tymi przypadkami. Anthropic tłumaczy to tym, że osoby te są czynnymi naukowcami, a firma nie jest przekonana, czy ich praca miała szkodliwy cel – ujawnienie tożsamości mogłoby narazić ich oraz ich laboratoria na niebezpieczeństwo.

Głos ekspertów i kontekst technologicznego skoku

Susan Monarez, mikrobiolożka i ekspertka ds. zdrowia publicznego, która nadzorowała przegląd przygotowania USA na zagrożenia biologiczne za administracji Baracka Obamy, zapoznała się z raportem przed jego publikacją. Jej zdaniem opisane przypadki dostarczają dowodów na próby wykorzystania zaawansowanej AI do zwiększenia możliwości opracowywania patogenów. Zwróciła jednak uwagę na podwójne zastosowanie tej technologii – modele AI mogą przyspieszać badania medyczne prowadzące do nowych terapii i szczepionek, ale te same możliwości mogą posłużyć do stworzenia niebezpiecznych patogenów.

Anthropic podkreśla, że starsze modele firmy były znacznie mniej przydatne przy prowadzeniu niebezpiecznych badań biologicznych. Ubiegłoroczne testy wykazały, że nie potrafiły jeszcze w znaczącym stopniu pomagać przy tego rodzaju pracy. Obecne modele są zdolniejsze do realizowania złożonych zadań naukowych, co zmusiło firmę do zaostrzenia mechanizmów bezpieczeństwa. To wpisuje się w szerszy trend opisywany także przez innych badaczy związanych z Anthropic, którzy publicznie ostrzegają przed tempem rozwoju zaawansowanych systemów AI.

Andrew Weber, starszy analityk Council on Strategic Risks i były zastępca sekretarza obrony USA odpowiedzialny za programy obrony przed bronią jądrową, chemiczną i biologiczną za administracji Obamy, ocenił raport jako przykład wykorzystania coraz bardziej zaawansowanych modeli AI przez podmioty zaangażowane w rozwój broni biologicznej. Opowiedział się za ograniczeniem dostępu do modeli zdolnych do prowadzenia badań biologicznych na takim poziomie – jego zdaniem powinny z nich korzystać wyłącznie zweryfikowane grupy badawcze.

Nadużycia nie ograniczają się do biologii

Raport Anthropic opisuje szerszy wachlarz problemów, wykraczających poza broń biologiczną. Firma wykryła przypadki wykorzystywania Claude'a do inwigilowania przeciwników politycznych i społeczności emigracyjnych, tworzenia propagandy oraz opracowywania exploitów komputerowych. Wśród nich wskazano rosyjskie media państwowe, które wykorzystywały Claude'a do generowania propagandy przedstawianej jako niezależne materiały informacyjne, w tym fałszywych informacji dotyczących wyborów w Mołdawii.

Anthropic wykryło także próby wykorzystania Claude'a przy projektowaniu i tworzeniu oprogramowania związanego z bronią konwencjonalną – bronią palną, pociskami, uzbrojonymi dronami i bombami. Raport wymienia sześć takich przypadków: trzy związane z Chinami, dwa z Rosją oraz jeden z Jemenem, gdzie kontekst raportu sugeruje działalność wspieranej przez Iran milicji Huti.

Raport Anthropic pokazuje, że wraz z rosnącymi możliwościami modeli AI w zakresie prowadzenia złożonych badań naukowych, rośnie też skala potencjalnych zagrożeń. Firma zapowiada dalsze zaostrzanie mechanizmów bezpieczeństwa, jednak sama przyznaje, że w wielu przypadkach granica między legalnymi badaniami a niebezpiecznymi zastosowaniami pozostaje trudna do jednoznacznego wyznaczenia.