Trillium Labs: badania nad ryzykowną AI w pełnej jawności

Niektóre z największych firm AI uważają, że najlepszym sposobem na utrzymanie modeli pod kontrolą jest trzymanie ich pod kluczem w zamkniętych laboratoriach. Dwaj naukowcy branżowi, Nathan Lambert i Tom Zick, są przekonani o czymś wręcz przeciwnym – i właśnie uruchomili organizację, która ma to udowodnić. Jak pisze WIRED, ich nowa nonprofitowa inicjatywa Trillium Labs zamierza prowadzić badania nad potencjalnie ryzykownymi obszarami AI – w tym rekursywnym samodoskonaleniem się modeli oraz agentami – w pełni otwarcie, publikując szczegóły eksperymentów, aby zewnętrzni naukowcy mogli je badać i replikować.

Lambert i Zick twierdzą, że sposób, w jaki wiodące laboratoria AI utrzymują swoje prace w tajemnicy, ogranicza zdolność całej społeczności naukowej do weryfikowania pomysłów i wnoszenia nowych podejść. Ich zdaniem umożliwienie zewnętrznym ekspertom wglądu w to, jak modele są budowane i dostrajane, może być kluczowe dla ograniczania ryzyka związanego z rozwojem sztucznej inteligencji.

Kluczowe wnioski

• Trillium Labs – nowa organizacja nonprofit założona przez Nathana Lamberta i Toma Zicka – zajmie się badaniami nad post-treningiem, rekursywnym samodoskonaleniem modeli (RSI) oraz uczeniem ze wzmocnieniem, publikując wyniki w pełni otwarcie.
• Organizacja zebrała już nieujawnioną sumę od Schmidt Sciences, Halcyon Futures i innych inwestorów, a łącznie planuje zgromadzić od 40 do 100 milionów dolarów.
• Trillium Labs zamierza wydać 30 milionów dolarów na trening modeli w ciągu najbliższych 18 miesięcy.
• Branża AI jest podzielona między strategię zamkniętego dostępu (OpenAI, Anthropic) a podejścia bardziej otwarte, reprezentowane m.in. przez chińskie firmy czy projekt Marin ze Stanfordu.
• Tim Fist z Institute for Progress określa się jako „ogromny fan” większej przejrzystości w badaniach i rozwoju AI niż ta, którą obecnie obserwujemy w branży.

Spór o to, jak budować bezpieczną sztuczną inteligencję

Najpotężniejsze modele na świecie – te od OpenAI i Anthropic – są dostępne wyłącznie poprzez aplikację lub interfejs programistyczny (API). Często oznacza to niemal całkowity brak przejrzystości co do sposobu ich budowy i zachowania. Inne firmy, zwłaszcza te z Chin, udostępniają relatywnie potężne modele do pobrania i uruchomienia na własnym sprzęcie użytkownika. Chińska firma Xiaomi niedawno opublikowała na żywo szczegóły przebiegu dużego treningu jednego ze swoich modeli, a naukowcy ze Stanfordu pretrenują model AI o nazwie Marin w pełni otwarcie.

Branża znajduje się obecnie w sporze o to, która strategia jest lepsza – głównie z powodu tego, jak potężne stały się obecne modele frontierowe. Potrafią one automatyzować wykrywanie nowych podatności w oprogramowaniu oraz samodzielnie przeszukiwać i włamywać się do systemów, a ostatnie głośne serie hakerskich ataków wzbudziły jeszcze większą kontrolę. Zwolennicy ograniczonego dostępu argumentują, że kluczowe jest utrzymanie tej mocy w rękach zaufanej, wąskiej grupy. Ci z obozu Lamberta i Zicka uważają z kolei, że wszyscy jesteśmy w lepszej sytuacji, gdy wspólnie rozumiemy ryzyko.

„Przez ostatnie tysiąclecia ludzkość miała w swoim arsenale metodę naukową jako sposób na ograniczanie szkód i budowanie lepszej przyszłości” – powiedział Lambert w rozmowie z WIRED. „Obecna zamknięta trajektoria rozwoju frontierowej AI to krok w tył”.

Doświadczenie założycieli i geneza projektu

Lambert wcześniej pracował w Ai2 – laboratorium badawczym, które przyjęło nietypowo otwarte podejście do AI, publikując szczegóły danych i metod treningowych użytych do budowy modeli wraz z samymi modelami. Pracował także w Hugging Face, prowadzi popularny blog techniczny i założył inicjatywę American Truly Open Models, która ma zachęcać amerykańskie firmy do udostępniania większej liczby otwartych modeli. Zick z kolei pracowała na Uniwersytecie Harvarda i pomagała firmie Charles Schwab opracować polityki dotyczące „odpowiedzialnej AI”.

Para poznała się podczas pandemii COVID-19 na połączeniu przez Zoom, gdy obaj byli doktorantami na UC Berkeley i pracowali nad sztuczną inteligencją. Pomysł na nową nonprofitową organizację powstał po tym, jak zauważyli, jak bardzo badania prowadzone przez branżę oddaliły się od pracy akademickiej. Lambert twierdzi, że profesorowie i studenci często nie są w stanie zreplikować prac prowadzonych w laboratoriach dużych firm, bo nie mają do tego wystarczających zasobów.

Jak zapowiada Zick, Trillium Labs, które ruszyło właśnie dzisiaj, skupi się początkowo na post-treningu – czyli dostrajaniu dużych modeli po ich zbudowaniu. Kolejnym kluczowym obszarem będzie RSI (recursive self-improvement) – proces tworzenia nowych modeli, w którym sama AI wnosi wkład badawczy. Perspektywa, że tego rodzaju postęp mógłby trwać bez końca i prowadzić do utraty kontroli człowieka nad systemami, zaniepokoiła wielu badaczy AI. Temat zyskał szerszą uwagę opinii publicznej na początku tego miesiąca, gdy badacz Anthropic odszedł z firmy i ostrzegł, że RSI może stanowić egzystencjalną groźbę dla ludzkości.

Uczenie ze wzmocnieniem i walka z nadmierną potulnością modeli

Organizacja zajmie się także badaniem, jak uczenie ze wzmocnieniem – metoda nagradzająca model za dobre wyniki i karząca za złe – wpływa na jego możliwości. Takie podejście znacząco zwiększyło zdolności agentów AI, ale uczyniło je też bardziej skłonnymi do nieoczekiwanych zachowań. Badacze Trillium Labs chcą przyjrzeć się, jak uczenie ze wzmocnieniem kształtuje charakter i zachowanie modeli AI – metodzie, która bywa problematyczna, gdy model staje się nadmiernie uległy wobec użytkownika.

„Aby zrozumieć, jak uczenie ze wzmocnieniem skaluje się w post-treningu, potrzeba znaczącej mocy obliczeniowej i wielu starannych eksperymentów” – mówi Zick. Dodaje, że publikowanie szczegółów przebiegu treningów z uczeniem ze wzmocnieniem może przynieść zaskakujące wnioski, gdy zewnętrzni badacze zaczną przeglądać tę pracę.

Lambert i Zick liczą, że Trillium Labs wniesie do szerszej dyskusji na temat najlepszego sposobu budowania AI potrzebny jej niuans. „Żyjemy w erze dyskursu o AI zdominowanego przez kilka światopoglądów” – mówi Lambert. „Wierzymy, że metoda naukowa i rzetelna analiza bieżących wydarzeń to najlepszy sposób na zrozumienie nowych zachowań modeli AI”.

Nowo powstała organizacja wpisuje się w szerszy, trwający w branży spór między zwolennikami zamkniętego rozwoju AI – jak OpenAI czy Anthropic – a rosnącym ruchem na rzecz otwartości, do którego należą projekty takie jak Ai2, Marin ze Stanfordu czy chińska Xiaomi.