Przejdź do treści
6 min czytania

Prospekt IPO Anthropic to też podręcznik ryzyk egzystencjalnych AI

Prospekt emisyjny Anthropic poświęca 94 strony ryzykom AI, w tym rekurencyjnemu samodoskonaleniu jako drodze do zagrożenia egzystencjalnego.

Prospekt IPO Anthropic to też podręcznik ryzyk egzystencjalnych AI

Źródło zdjęcia: WIRED

Anthropic oficjalnie złożyła prospekt emisyjny w związku z planowaną pierwszą ofertą publiczną akcji (IPO), ujawniając dane finansowe, które dotąd pozostawały poufne. Choć dokument zawiera imponujące liczby dotyczące przychodów — i jeszcze większe dotyczące wydatków — to zdecydowanie najobszerniejsza część prospektu, licząca 94 strony, poświęcona jest „czynnikom ryzyka”. Nie chodzi tu jednak wyłącznie o standardowe zagrożenia biznesowe, lecz o coś znacznie poważniejszego: scenariusze, w których zaawansowana sztuczna inteligencja mogłaby zagrozić samej ludzkości.

Choć od dawna mówi się, że AI może stanowić egzystencjalne zagrożenie dla gatunku ludzkiego, konkretne mechanizmy prowadzące do takiej katastrofy pozostawały dotąd słabo opisane. Prospekt Anthropic po raz pierwszy w tak jawny sposób wskazuje, skąd firma widzi nadchodzące niebezpieczeństwo — i jednocześnie przyznaje, że jej własni badacze pędzą w jego kierunku, by wygrać wyścig zbrojeń w dziedzinie AI.

Kluczowe wnioski

  • Prospekt IPO Anthropic poświęca aż 94 strony na opis czynników ryzyka, w tym trzykrotnie wprost na „ryzyka egzystencjalne” dla ludzkości.
  • Firma pisze wprost: „wystarczająco zaawansowane systemy AI mogą, jeśli nie zostaną opracowane, wdrożone i obsługiwane z odpowiednimi zabezpieczeniami, nadzorem i środkami ochrony, stwarzać katastrofalne lub egzystencjalne ryzyko dla ludzkości”.
  • Kluczowym mechanizmem zagrożenia jest rekurencyjne samodoskonalenie (RSI) — proces, w którym rozwój modeli AI jest przekazywany innym modelom AI, bez udziału człowieka.
  • Ten sam proces, który budzi obawy o katastrofę, Anthropic określa w innej części dokumentu jako jedną z „najistotniejszych przewag strukturalnych we frontierowej AI”.
  • Firma ostrzega również przed ryzykami związanymi z systemami sterującymi fizycznym sprzętem, w tym możliwością obrażeń ciała, uszkodzenia mienia czy uwolnienia substancji niebezpiecznych.

Rekurencyjne samodoskonalenie jako oś zagrożenia

Idea stojąca za RSI jest w gruncie rzeczy prosta: ludzie stopniowo oddają proces badań i rozwoju nad modelami AI w ręce innych modeli AI. Sztuczna inteligencja już dziś odgrywa w tym procesie dużą rolę — przynajmniej jedno laboratorium wykorzystało mechanizm zbliżony do RSI, by przyspieszyć rozwój modelu, który pod względem możliwości znacząco przewyższa konkurencję w swojej kategorii wagowej. Scenariusz wywołujący prawdziwe obawy o zagładę to jednak taki, w którym człowiek zostaje całkowicie wyłączony z pętli decyzyjnej.

Jak ujmuje to sam prospekt Anthropic: „Ryzyka będą rosły wraz z tym, jak systemy AI będą w coraz większym stopniu automatyzować badania i rozwój samej AI, jeśli — na przykład — przyspieszą postęp w AI ponad naszą zdolność do oceny i zabezpieczenia nowych modeli”. Dokument wielokrotnie podkreśla, że RSI mogłoby doprowadzić do powstania modeli rozwijających się szybciej niż mechanizmy zabezpieczające firmy — a Anthropic może nawet nie zdać sobie sprawy, że przegrała ten wyścig, dopóki nie będzie już za późno. Anthropic nie odpowiedziało na prośbę o komentarz w tej sprawie.

Prospekt precyzuje też, co mogłoby stać się dalej. „W miarę jak systemy AI stają się bardziej autonomiczne i zdolne do podejmowania istotnych działań przy mniejszym nadzorze człowieka” — czytamy w dokumencie — „istnieje ryzyko, że takie systemy mogłyby, czy to z powodu niezgodności z intencjami ludzi, błędów w definiowaniu celów, czy zachowań nastawionych na samozachowanie, podejmować szkodliwe działania niezależnie i na dużą skalę, bez interwencji człowieka”. To już czyste terytorium rodem ze Skynetu z filmów o Terminatorze.

Anthropic odnosi się również do zagrożeń związanych z robotyką. „Gdy nasze modele kierują fizycznym sprzętem” — podaje filing — „błędy, niezgodne zachowanie, złośliwa manipulacja lub niewłaściwe użycie mogą skutkować obrażeniami ciała, uszkodzeniem mienia, uszkodzeniem kosztownego sprzętu lub materiałów eksperymentalnych, a także uwolnieniem substancji niebezpiecznych — a takie konsekwencje mogą być natychmiastowe i nieodwracalne”.

Przewaga konkurencyjna czy bomba zegarowa

Można by oczekiwać, że wobec tak jednoznacznie opisanych stawek egzystencjalnych firma poważnie rozważy, czy w ogóle warto podążać drogą RSI. W branży tak konkurencyjnej jak frontierowa AI stało się to jednak czymś w rodzaju fait accompli — faktem dokonanym. W innej części tego samego prospektu, w sekcji poświęconej „kluczowym przewagom” firmy, Anthropic opisuje ten sam proces zupełnie inaczej: „Określamy tę rekurencyjną dynamikę mianem »zamykania pętli« i uważamy, że jest to jedna z najistotniejszych przewag strukturalnych we frontierowej AI”.

Brak „zamknięcia pętli”, jak twierdzi dalej firma, mógłby skutkować „stopniowym pozostawaniem w tyle, podczas gdy konkurenci nieustannie wykorzystują AI do dalszego wzmacniania własnych zdolności rozwojowych”. Innymi słowy — te same systemy, które budzą egzystencjalne obawy, Anthropic uznaje za kluczowe dla własnego sukcesu rynkowego. Więcej o tym, jak firma buduje przewagę konkurencyjną wśród klientów enterprise, pisaliśmy już przy okazji analizy strategii Anthropic wobec Claude w sektorze biznesowym.

Napięcie, z którym mierzy się cała branża

Z tym samym dylematem zmaga się dziś cała branża AI. Gdy były badacz Anthropic, Jacob Coxon, głośno odszedł z firmy, na szczycie swojej listy postulatów dla całej branży umieścił ograniczenie RSI. Podobne refleksje mieli pracownicy Google DeepMind i innych laboratoriów. W amerykańskim Kongresie trwają prace nad kilkoma projektami ustaw — w tym jednym współsponsorowanym przez Bernie’ego Sandersa — które proponują wprost zakaz rekurencyjnego samodoskonalenia. Jednocześnie wszystkie te laboratoria, w tym Anthropic, pozostają firmami nastawionymi na zysk, a na szali leżą biliony dolarów. Zjawisko to zbliżone jest do koncepcji, jaką rozwija inny startup, opisany przy okazji modelu Flint stawiającego na rekurencyjne samodoskonalenie AI.

To trudna dynamika do pogodzenia. Rekurencyjne samodoskonalenie może stać się pociągiem bez hamulców, który zniszczy ludzkość. Ale dopóki do tego nie dojdzie, uwagę przyciąga przede wszystkim to, jak bardzo potrafi przyspieszyć.

Udostępnij

Źródła

Powrót do nawigacji