Sam Altman: Pokolenie badaczy hamowało rozwój AI nie doceniając skalowania

CEO OpenAI Sam Altman kontynuuje obstawianie skalowania dużych modeli językowych i odpiera krytyków technologii LLM. W wystąpieniu na Uniwersytecie Stanford Altman stwierdził, że całe pokolenie badaczy hamowało rozwój sztucznej inteligencji, zbyt pewnie oceniając ograniczenia skalowania.

„Zakładanie przeciwko skalowaniu LLM w tym momencie wydaje mi się dość błędne” — powiedział Altman, odnosząc się do krytyków takich jak Yann LeCun, który nazywa duże modele językowe ślepą uliczką.

Kluczowe wnioski

• Altman twierdzi, że całe pokolenie badaczy hamowało rozwój AI przez zbyt pewne przewidywania o ograniczeniach skalowania.
• LLM już przewyższyły ludzką inteligencję w niektórych obszarach — model OpenAI niedawno obalił matematyczne przypuszczenie, które długo nie dawało się rozwiązać.
• CEO OpenAI odpiera krytyków jak Yann LeCun, twierdząc że wiążą swoją tożsamość z określonym stanowiskiem i nie potrafią go zmienić mimo sprzecznych danych.
• Dla bardzo długoterminowych zadań wymagających wysokiej oceny sytuacyjnej, LLM „wydają się znacznie gorsze od ludzi”.

Odpowiedź na krytyków skalowania

Altman bezpośrednio odpowiedział krytykom technologii LLM, w tym Yann LeCunowi, który nazywa duże modele językowe ślepą uliczką. Według CEO OpenAI, niektórzy ludzie wiążą swoją tożsamość z określonym stanowiskiem i nie potrafią go porzucić, nawet gdy dane im przeczą.

„Trolle z Twittera” przewidujące upadek OpenAI od lat również go nie niepokoją. Altman przyznaje, że modele świata mają znaczenie w przypadku robotyki, ale dane jasno wspierają kontynuację skalowania. Podobne uwagi poczynił niedawno również CEO Anthropic Dario Amodei.

Przykłady przewagi LLM nad ludźmi

LLM już przewyższyły ludzką inteligencję w niektórych obszarach — argumentował Altman. Model OpenAI niedawno obalił matematyczne przypuszczenie, które przez długi czas nie dawało się rozwiązać inteligentnym ludziom. Matematycy zastanawiają się teraz, co to oznacza dla ich dziedziny.

„To jasno pokazuje, że LLM są zdolne do odkrywania nowej wiedzy” — powiedział Altman. Jednocześnie przyznał, że w przypadku bardzo długoterminowych zadań wymagających wysokiej oceny sytuacyjnej, duże modele językowe „wydają się znacznie gorsze od ludzi”.

Stanowisko Altmana odzwierciedla trwający debat w społeczności AI między zwolennikami dalszego skalowania a badaczami szukającymi alternatywnych podejść do rozwoju sztucznej inteligencji.