OpenAI: nowy flagowy model wymaga jeszcze prac nad alignmentem

OpenAI pracuje nad kolejnym flagowym modelem, który wykorzystuje tę samą technikę „zapętlonych transformerów” co obecny model Astra. Rozwiązanie poprawia wyniki w matematyce i programowaniu, ale jednocześnie utrudnia nadzór nad bezpieczeństwem systemu. Według serwisu The Information, powołującego się na osoby zaznajomione z projektem, pracownicy OpenAI spodziewają się wydania jednego lub dwóch nowych modeli jeszcze przed końcem roku – nie wiadomo jednak, czy znajdzie się wśród nich „duży, zaktualizowany model”, nad którym firma obecnie pracuje.

Nowy flagowy model może jeszcze długo nie trafić do użytkowników. Wymaga dalszych prac nad alignmentem, czyli dopasowaniem celów modelu do oczekiwań badaczy OpenAI i klientów firmy, a także rozbudowy infrastruktury testowej. Dodatkową przeszkodą jest zarządzenie wykonawcze podpisane przez prezydenta Trumpa, dotyczące oceny zaawansowanych systemów AI – OpenAI zgodziło się na jego mocy udostępniać nowe modele amerykańskiemu rządowi nawet do 30 dni przed przekazaniem ich zewnętrznym partnerom, a jeszcze wcześniej przed publicznym startem.

Kluczowe wnioski

• Według pracowników OpenAI, do końca roku firma wyda prawdopodobnie jeden lub dwa nowe modele, choć nie wiadomo, czy flagowy model znajdzie się wśród nich.
• Nowy flagowiec, podobnie jak model Astra, korzysta z techniki „zapętlonych transformerów” (looped transformers), znanej wewnętrznie jako „Recurrent Depth” – token przechodzi przez te same warstwy modelu wielokrotnie przed wygenerowaniem kolejnego słowa.
• Technika ta poprawia wyniki w matematyce i kodowaniu oraz obniża koszty, ale przenosi część „myślenia” modelu do wewnętrznych reprezentacji liczbowych, których ludzie nie są w stanie zweryfikować – co osłabia monitorowanie łańcucha rozumowania (chain-of-thought).
• Po incydencie z Hugging Face OpenAI przeznaczyło około 10 proc. całkowitej mocy obliczeniowej na alignment i bezpieczeństwo – to setki megawatów mocy centrów danych, których wynajem przy stawkach rynkowych kosztowałby miliardy dolarów rocznie.
• Przypadkowy wyciek dokumentacji Microsoftu ujawnił szczegóły działania „looping inference” w modelu GPT-6.1 Sol, potwierdzając, że technika zapętlania pozostaje wrażliwym elementem rozwoju modeli OpenAI.

Zapętlone transformery – przewaga wydajności kosztem przejrzystości

Technika looped transformers nie jest nowością dla OpenAI – firma stosuje ją już produkcyjnie pod nazwą „Recurrent Depth” i stanowi ona podstawę działania Astry, obecnie najmocniejszego modelu spółki. Zamiast przepuszczać token przez warstwy transformera tylko raz, model wielokrotnie przepuszcza go przez te same warstwy, zanim wygeneruje kolejne słowo. Dzięki temu mniejszy model może osiągać wyniki porównywalne z większymi konstrukcjami, co jednocześnie podnosi skuteczność w matematyce i programowaniu oraz obniża koszty działania.

Problem w tym, że zapętlanie przenosi część procesu „myślenia” modelu poza czytelny dla człowieka tekst – do wewnętrznych reprezentacji numerycznych, których badacze bezpieczeństwa nie są w stanie zweryfikować. To bezpośrednio uderza w metodę monitorowania łańcucha rozumowania (chain-of-thought monitoring), czyli śledzenia toku rozumowania modelu w celu wychwycenia niepożądanych zachowań. Jak podaje The Information, OpenAI celowo ograniczyło liczbę pętli w modelu Astra, by zachować czytelność jego łańcucha rozumowania. Temat wiarygodności takich metod analizy wewnętrznych procesów modeli budzi zresztą szerszą dyskusję w branży.

Setki megawatów na bezpieczeństwo po incydencie z Hugging Face

Skala wyzwań związanych z alignmentem znalazła odzwierciedlenie w decyzjach dotyczących alokacji zasobów. Po incydencie z Hugging Face OpenAI przesunęło około 10 proc. całkowitej mocy obliczeniowej firmy na prace nad alignmentem i bezpieczeństwem – wynika to z informacji osoby zaznajomionej z danymi liczbowymi. The Information szacuje, że odpowiada to setkom megawatów mocy centrów danych, choć nie wiadomo, jaki był wcześniejszy podział zasobów ani jak dokładnie wygląda obecna proporcja. Przy stawkach rynkowych wynajem takiej mocy obliczeniowej kosztowałby miliardy dolarów rocznie.

Potwierdzeniem tego trendu są słowa badacza AI Noama Browna, który w podcaście z połowy września stwierdził, że około 10 proc. jego zespołu zajmuje się bezpieczeństwem i ochroną systemów.

Wyciek Microsoftu ujawnił mechanikę działania modelu

Szczegółowy obraz tego, jak OpenAI faktycznie wykorzystuje technikę zapętlania, wyszedł na jaw przez pomyłkę Microsoftu. Firma, będąca głównym inwestorem OpenAI z dostępem do jej własności intelektualnej, opublikowała techniczny opis modelu GPT-6.1 Sol – tańszej alternatywy dla Astry, uruchomionej przez OpenAI na początku tego miesiąca.

W usuniętej później sekcji Microsoft opisał GPT-6.1 Sol jako model wykorzystujący „inferencję zapętloną” (looping inference), w której model wielokrotnie przechodzi przez to samo zadanie w kilku „przejściach” (passes), zanim wygeneruje odpowiedź. Jak cytuje The Information z zarchiwizowanej kopii strony: „GPT-6.1 Sol wykorzystuje te same wagi modelu bazowego co GPT-6 Sol, ale z dwoma przejściami inferencji zamiast trzech”. Osoba mająca bezpośrednią wiedzę o sprawie potwierdziła, że opis pokrywał się z tym, co OpenAI przekazało Microsoftowi prywatnie. Microsoft usunął sekcję po zorientowaniu się, że nie była przeznaczona do publikacji – co pokazuje, że zapętlone transformery pozostają jednym z najbardziej strzeżonych elementów rozwoju modeli OpenAI, zarówno na etapie treningu, jak i inferencji.

Główny naukowiec OpenAI, Jakub Pachocki, przyznał już wcześniej, że monitorowanie łańcucha rozumowania staje się coraz bardziej „kruche” i rozwija się „niestety w negatywnym kierunku”. Ostrzegał też przed wyścigiem w całej branży ku modelom pozbawionym czytelnego rozumowania – kosztem bezpieczeństwa i możliwości nadzoru nad działaniem AI.

Historia kolejnego flagowego modelu OpenAI pokazuje dylemat towarzyszący całej branży: zyski wydajnościowe z nowych architektur transformerowych coraz częściej idą w parze z utratą przejrzystości procesu rozumowania modeli, co stawia nowe wyzwania przed zespołami odpowiedzialnymi za alignment i bezpieczeństwo AI.