NVIDIA i Ineffable Intelligence nawiązały współpracę mającą na celu budowę infrastruktury przyszłej generacji dla uczenia ze wzmocnieniem na dużą skalę. Partnerstwo łączy giganta chipów z londyńskim laboratorium AI założonym przez Davida Silvera, architekta słynnego AlphaGo. Jak informuje oficjalny blog NVIDIA, celem jest stworzenie systemów zdolnych do ciągłego uczenia się z doświadczenia.
Ineffable Intelligence wyszła z trybu stealth w ubiegłym tygodniu, koncentrując się na rozwoju „superlearnerów” — systemów AI, które mogą odkrywać nową wiedzę samodzielnie, a nie tylko reprodukować to, co już znają ludzie.
Kluczowe wnioski
- NVIDIA i Ineffable Intelligence współpracują przy budowie infrastruktury dla uczenia ze wzmocnieniem na wielką skalę.
- David Silver, twórca AlphaGo, prowadzi londyńskie laboratorium fokusujące się na systemach uczących się z doświadczenia.
- Uczenie ze wzmocnieniem wymaga zupełnie innej architektury niż tradycyjne przedtrenowanie — systemy generują dane w locie podczas działania.
- Prace rozpoczęły się na platformie NVIDIA Grace Blackwell i będą kontynuowane na nadchodzącej platformie NVIDIA Vera Rubin.
- Celem jest umożliwienie przełomów we wszystkich dziedzinach wiedzy poprzez agentów uczących się w złożonych środowiskach.
Wyzwanie infrastrukturalne uczenia ze wzmocnieniem
Uczenie ze wzmocnieniem stawia przed infrastrukturą AI zupełnie inne wymagania niż tradycyjne przedtrenowanie modeli. Jak wyjaśnia Silver, podczas gdy przedtrenowanie wykorzystuje stały zbiór danych ludzkich, systemy uczenia ze wzmocnieniem generują dane dynamicznie podczas działania.
„System musi działać, obserwować, oceniać i aktualizować się ciągle w ścisłych pętlach”, co wywiera presję na połączenia sieciowe, przepustowość pamięci i serwowanie danych w sposób, którego przedtrenowanie nie wymaga. Dodatkowo systemy będą trenowane na bogatych formach doświadczenia, które znacznie różnią się od ludzkiego języka i innych danych pochodzących od ludzi, co może wymagać nowych architektur modeli i algorytmów treningowych.
Wizja „superlearnerów” i przyszłość AI
Jensen Huang, założyciel i CEO NVIDIA, podkreśla strategiczne znaczenie tej współpracy: „Następną granicą AI są superlearnery — systemy, które uczą się ciągle z doświadczenia. Cieszymy się, że możemy współpracować z Ineffable Intelligence przy współprojektowaniu infrastruktury dla uczenia ze wzmocnieniem na dużą skalę”.
Silver przedstawia to jako rozwiązanie trudniejszego problemu AI. „Naukowcy w dużej mierze rozwiązali łatwiejszy problem AI: jak budować systemy, które wiedzą wszystko, co już wiedzą ludzie. Teraz musimy rozwiązać trudniejszy problem: jak budować systemy, które same odkrywają nową wiedzę. To wymaga zupełnie innego podejścia — systemów uczących się z doświadczenia.”
Przełomowa technologia dla nauki
Inżynierowie z obu firm współpracują przy eksploracji najlepszych sposobów stworzenia pipeline'u treningowego, który będzie działał na skalę. Prace rozpoczęły się na platformie NVIDIA Grace Blackwell i będą jednymi z pierwszych do eksploracji nadchodzącej platformy NVIDIA Vera Rubin.
Właściwe zaprojektowanie tej infrastruktury ma odblokować bezprecedensową skalę uczenia ze wzmocnieniem w bardzo złożonych i bogatych środowiskach, umożliwiając agentom odkrywanie przełomów we wszystkich dziedzinach wiedzy. To podejście może zdefiniować kierunek rozwoju AI w erze post-ludzkiej, gdzie systemy uczą się poprzez symulację i doświadczenie, a nie tylko na podstawie istniejących danych.
