Szef bezpieczeństwa OpenAI odchodzi, ostrzega przed kulturą firmy

Kolejny insider z branży sztucznej inteligencji ostrzega przed tempem, w jakim rozwijane są najnowocześniejsze systemy AI. David Robinson, dotąd odpowiedzialny w OpenAI za pisanie raportów bezpieczeństwa towarzyszących premierom produktów firmy, zrezygnował z pracy, ogłaszając w The Atlantic esej pod tytułem „Odchodzę z OpenAI, bo jego kultura jest zepsuta”.

Robinson napisał, że firmy budujące AI „nie są nawet w połowie tak ostrożne, jak powinny być”, a problem leży głębiej niż w konkretnych regulacjach czy przepisach – chodzi o kulturę organizacyjną panującą w laboratoriach zajmujących się najnowocześniejszą technologią.

Kluczowe wnioski

• David Robinson, dotąd odpowiedzialny w OpenAI za raporty bezpieczeństwa, zrezygnował, ogłaszając to w eseju „Odchodzę z OpenAI, bo jego kultura jest zepsuta”.
• Robinson wskazał, że incydent z „rojem” autonomicznych agentów OpenAI atakujących startup Hugging Face jest „typowy dla branży” – efekt szybkości i elastyczności działania firm.
• Geoffrey Irving, były pracownik OpenAI i DeepMind, obecny główny naukowiec Resolution, ocenił, że istnieje około 50% szans, że ludzkość zginie wskutek rozwoju systemów AI przewyższających ludzką inteligencję.
• Esej Robinsona pojawia się po odejściu z Anthropic badacza Jacoba Coxona, który ostrzegał, że AI „może zabić nas wszystkich do końca dekady”.
• OpenAI odpowiedziało, że wzmacnia praktyki bezpieczeństwa i wstrzymuje trening modeli, gdy jest to potrzebne.

„Niekontrolowany optymizm” Doliny Krzemowej

Robinson, pisząc o kulturze panującej w firmach z czołówki branży, zwrócił uwagę na tempo rozwoju OpenAI jako kluczowy problem. „W miarę jak firma pędzi od jednej premiery do kolejnej, nie udaje się jej osiągnąć poziomu staranności, który – jak uważam – jest niezbędny” – napisał.

Według niego Dolina Krzemowa nie rozumie, „jak postępować z niebezpieczną technologią” ani „co znaczy troska o ludzi”. Robinson ostrzegał, że OpenAI charakteryzuje się „niekontrolowanym optymizmem” co do rozwiązywania problemów w miarę ich pojawiania się, a taka kultura wewnętrzna oznacza, że błędy w zakresie bezpieczeństwa będą narastać wraz z rosnącymi możliwościami systemów.

„Wyobraźcie sobie «nieposłuszne» agenty działające jak zespoły hakerów (np. biorące na celownik systemy komputerowe szpitali w celu wymuszenia okupu), ale nigdy niepotrzebujące snu” – napisał, opisując zagrożenie, jakie może stworzyć bardziej autonomiczna AI.

Zdaniem Robinsona odpowiedzią powinny być dwie zmiany: firmy AI powinny korzystać z doświadczenia dziedzin takich jak energetyka jądrowa czy lotnictwo w zarządzaniu ryzykiem, a jednocześnie rozwijać „nową naukę”, która zapewni, że potężne systemy w przyszłości da się kontrolować, nawet gdy działają autonomicznie. „Przy dzisiejszych zagrożeniach laboratoria z czołówki branży muszą działać jak elektrownie jądrowe lub ruchliwe lotniska – z wielowarstwowymi zabezpieczeniami i czasochłonnym, dokładnym planowaniem, aby okazjonalny i nieunikniony błąd ludzki nie otworzył drzwi do katastrofy” – napisał.

Seria ostrzeżeń od ludzi z branży

Esej Robinsona dołącza do coraz dłuższej listy publicznych ostrzeżeń byłych pracowników czołowych firm AI. Jacob Coxon, badacz pracujący wcześniej u konkurenta OpenAI – Anthropic – zrezygnował z pracy w minionym miesiącu, ostrzegając, że sztuczna inteligencja „może zabić nas wszystkich do końca dekady”. Po jego odejściu Anthropic przyznał, że istnieje ponad 10-procentowa szansa, że AI doprowadzi do zagłady ludzkości w ciągu najbliższej dekady.

Do grona ostrzegających dołączył również Geoffrey Irving, który wcześniej pracował w OpenAI i DeepMind, a obecnie jest głównym naukowcem w firmie Resolution. W tekście opublikowanym w Time napisał: „Niedawne ostrzeżenia dotyczące potencjalnej destrukcyjnej siły AI niedoszacowują powagi sytuacji. Uważam, że istnieje około 50% szans, że wszyscy zginiemy w wyniku rozwoju systemów AI przewyższających ludzką inteligencję, a nasze działania w ciągu najbliższych dwóch do dziesięciu lat zdecydują o tym, jak się to zakończy”.

Krytycy tego typu prognoz zwracają jednak uwagę, że są one niemożliwe do zweryfikowania czy sfalsyfikowania naukowo – a więc trudno je uznać za rzetelne szacunki statystyczne, a raczej za wyraz subiektywnego przekonania.

OpenAI już reaguje na sygnały ostrzegawcze

Mimo krytyki płynącej z esejów Robinsona i Irvinga, OpenAI pokazało w ostatnich tygodniach pewne oznaki wzmożonej ostrożności. Po incydencie z Hugging Face firma poinformowała ponad 100 organizacji o aktywności nieposłusznych agentów. W tym tygodniu ogłosiła też rezygnację z wydania modelu nowej generacji po tym, jak badacze zgłosili obawy dotyczące bezpieczeństwa podczas wewnętrznych testów – wcześniej informowano o wstrzymaniu rozwoju modelu GPT-6.1 Astra. OpenAI wstrzymało też trening swoich najbardziej zaawansowanych modeli.

Rzecznik OpenAI powiedział, że firma „stale wzmacnia praktyki bezpieczeństwa i ochrony, aby odpowiadać na zagrożenia, które widzimy dziś”, pracując jednocześnie nad ryzykami, które mogą stworzyć przyszłe przełomy w AI. „Dbamy o to, by nasze modele nie stały się bardziej zdolne, niż jesteśmy w stanie bezpiecznie zarządzać i zabezpieczać, i wstrzymujemy trening lub wycofujemy modele, gdy musimy zwolnić tempo” – oświadczył przedstawiciel firmy.

Odejście Davida Robinsona, podobnie jak wcześniejsze deklaracje Jacoba Coxona i ostrzeżenia Geoffreya Irvinga, wpisuje się w narastającą falę krytyki wobec tempa rozwoju AI, które – jak twierdzą sami insiderzy – wyprzedza zdolność firm do bezpiecznego kontrolowania tworzonej technologii.