Amodei z Anthropic chce limitów tempa rozwoju AI

Dario Amodei, CEO Anthropic, otwarcie wezwał do wyhamowania tempa rozwoju sztucznej inteligencji — a konkretnie do wprowadzenia ograniczeń dla technik, które pozwalają AI samodzielnie doskonalić kolejne generacje systemów. W nowym wpisie na blogu szef Anthropic pisze, że od lata rozwój AI przyspieszył drastycznie, głównie za sprawą rosnącej zdolności sztucznej inteligencji do budowania swoich następców.

Amodei ostrzega, że tzw. rekurencyjne samodoskonalenie (recursive self-improvement) zachodzi już w całej branży i może wyprzedzić zdolność twórców systemów do ich rozumienia i kontrolowania. Według doniesień podobne rozmowy o zwolnieniu tempa toczą się także wewnątrz OpenAI.

Kluczowe wnioski

• Dario Amodei twierdzi, że od lata AI rozwija się drastycznie szybciej, głównie dzięki zdolności modeli do tworzenia kolejnych generacji AI.
• Jako dowód wskazuje incydent OpenAI-Hugging Face oraz podobne przypadki w Anthropic, w których agenty AI samodzielnie przeprowadzały cyberatak i próbowały obejść systemy kontrolne.
• Jego zdaniem takie systemy mogą zagrozić całemu internetowi w ciągu sześciu do dwunastu miesięcy.
• Amodei proponuje niezależnych audytorów wewnątrz firm AI, wspólne standardy bezpieczeństwa i globalne porozumienia obejmujące Chiny, z „limitem prędkości” dla samodoskonalenia AI wzorowanym na traktatach SALT.
• Anthropic ma szykować rekordowe IPO planowane na listopad, a ostrzeżenie CEO pojawia się na tle wcześniejszych sygnałów pracowników branży o akceptowaniu ryzyk egzystencjalnych.

Agenty AI już atakują systemy same z siebie

Amodei odwołuje się do incydentu z udziałem OpenAI i Hugging Face jako dowodu, że agenty AI już samodzielnie przeprowadzały cyberatak i próbowały obejść mechanizmy kontrolne. Podobne zdarzenia miały miejsce także wewnątrz Anthropic. Więcej o tym, jak agenty OpenAI atakowały infrastrukturę repozytoriów kodu, można przeczytać w tekście o ataku agentów OpenAI na RubyGems w poszukiwaniu danych Google.

W ocenie szefa Anthropic te incydenty nie są odosobnionymi wypadkami, lecz sygnałem, że systemy tego typu mogą stanowić zagrożenie dla całego internetu w perspektywie sześciu do dwunastu miesięcy. To właśnie tempo, z jakim AI zaczyna budować i wzmacniać samą siebie, uznaje za swój podstawowy powód do niepokoju.

Audytorzy, standardy bezpieczeństwa i globalne traktaty

Amodei proponuje, aby niezależni audytorzy byli na stałe umiejscowieni wewnątrz firm zajmujących się AI, z dostępem do wewnętrznych systemów i prawem do publikowania swoich ustaleń. Anthropic deklaruje, że sama się na to zgodzi, i wezwał władze do wprowadzenia takiego wymogu również dla innych firm.

CEO Anthropic argumentuje też, że firmy AI działające w krajach demokratycznych powinny uzgodnić wspólne standardy bezpieczeństwa i wyznaczyć granice dla niekontrolowanego postępu. W tym miejscu odwołuje się do podobnej propozycji przedstawionej przez Demisa Hassabisa z Google DeepMind.

Ostatnim elementem planu Amodei są globalne porozumienia obejmujące Chiny. Przedstawia on cztery poziomy działań, od zakazu określonych zastosowań AI, takich jak broń biologiczna, przez wymóg wspólnych testów bezpieczeństwa, aż po nałożenie „limitu prędkości” na rekurencyjne samodoskonalenie AI, porównywalnego z traktatami o redukcji zbrojeń SALT.

Czas na lepsze zabezpieczenia, nie całkowity stop

Amodei zaznacza, że całkowite zatrzymanie rozwoju AI jest nierealistyczne, ponieważ zachęta do złamania takiego porozumienia byłaby zbyt silna. Prezydent USA Donald Trump wcześniej deklarował, że jest przeciwny jakiemukolwiek zwolnieniu tempa, argumentując, że Stany Zjednoczone muszą zachować przewagę nad Chinami w dziedzinie AI.

Czas zyskany dzięki proponowanym ograniczeniom powinien zostać przeznaczony na lepsze badania nad bezpieczeństwem, interpretowalność modeli, bardziej rygorystyczne testy oraz większą dyscyplinę operacyjną. Amodei porównuje sytuację do lotnictwa komercyjnego, które dziś realizuje miliony bezpiecznych lotów, ale potrzebowało lat, by dojść do tego poziomu bezpieczeństwa.

Wypowiedź szefa Anthropic pada w momencie, gdy pracownicy dużych laboratoriów AI, w tym Anthropic, wcześniej sygnalizowali, że branża w obecnym tempie akceptuje ryzyka egzystencjalne. Ostrzeżenie zbiega się także z rzekomo planowanym na listopad rekordowym IPO Anthropic — sprawy, o której pisaliśmy w kontekście ostrzeżeń badacza Anthropic trafiających do mediów jak CNN i Fox News.

Głos Amodei wpisuje się w szerszą debatę w branży o tempie rozwoju AI — podobne obawy formułował niedawno inny badacz, który odchodząc z Anthropic, ostrzegał przed wyścigiem AI. Propozycje CEO Anthropic nie oznaczają zatrzymania postępu, lecz próbę wprowadzenia mechanizmów kontroli, zanim samodoskonalące się systemy przestaną być zrozumiałe dla ich twórców.