Przejdź do treści
6 min czytania

ToyBlocks od Ai2: kontrolowany świat do nauki i testowania robotów

ToyBlocks od Ai2 to otwarta symulacja z ramieniem robota i klockami. Automatycznie generuje dane i pokazuje, że modele VLA wciąż słabo generalizują przestrzennie.

ToyBlocks od Ai2: kontrolowany świat do nauki i testowania robotów

Źródło zdjęcia: huggingface.co

Allen Institute for AI (Ai2) udostępnił ToyBlocks, otwarte środowisko symulacyjne, w którym ramię robota układa klocki na stole. Nie chodzi jednak o pokaz zręczności, tylko o narzędzie badawcze. Badacze mogą w nim zmieniać dane treningowe lub architekturę modelu, powtarzać testy i dochodzić przyczyn błędów. Projekt opisano na blogu Ai2 w serwisie Hugging Face. Razem z nim opublikowano kod, dane, modele i dokumentację.

Autorzy zauważają, że roboty uczą się dziś składać pranie, sortować części i obchodzić się z nieznanymi przedmiotami. Takie demonstracje są jednak zwykle wąskie i nie pokazują, czego robot faktycznie się nauczył ani dlaczego zawodzi. Biolog może zacząć od szalki Petriego albo terrarium, czyli małego środowiska, w którym kontroluje warunki i obserwuje skutki zmian. Według Ai2 robotyka potrzebuje podobnych „laboratoriów”.

Główne wnioski

  • Ai2 przedstawia FoundationWorlds, framework do budowy kontrolowanych światów symulacyjnych. Każdy łączy symulację, automatyczne generowanie zadań i demonstracji oraz metryki zachowania robota. ToyBlocks jest pierwszym takim światem.
  • Demonstracje treningowe powstają automatycznie, bez teleoperacji. Na jednym GPU można równolegle wykonywać setki planów, osiągając do 24-krotności czasu rzeczywistego.
  • W pierwszych testach popularne modele VLA (ManiFlow, π0.5, MolmoAct 2) słabo generalizowały przestrzennie mimo pretreningu na dużą skalę. Zdaniem autorów generalizacja modeli akcji „pozostaje daleka od rozwiązania”.
  • Ocena wykracza poza odsetek udanych prób. Mierzy także szybkość wykonania, siły działające na obiekty i postęp zadania.
  • Przez interfejs webowy można podłączyć Claude'a lub inny model czołowy i wydawać robotowi polecenia w języku naturalnym.

Prosty świat, który wymaga myślenia

ToyBlocks rozwija wcześniejsze prace Ai2 nad otwartym uczeniem robotów, w tym MolmoAct 2, MolmoBot i MolmoSpaces. Każdy FoundationWorld ma spełniać cztery wymagania:

  • realistyczną fizykę i wygląd,
  • automatyczne generowanie zadań i demonstracji na dużą skalę,
  • wyzwania łączące rozumowanie ze zręcznością,
  • szerokie pokrycie zadań możliwych w danej domenie.

Według autorów w otwartych domenach trzeba by modelować ogromną liczbę obiektów i interakcji, więc spełnienie wszystkich czterech warunków jest tam niewykonalne. Wąski zakres ToyBlocks na to pozwala. Badacze mogą więc sprawdzać, jak robot uczy się dowolnego sensownego zadania, a jednocześnie mieć pewność, że symulowane ramię i klocki zachowują się bardzo podobnie do fizycznych odpowiedników.

Środowisko nie ogranicza się do podnoszenia i ustawiania klocków w wieżę. Na ich ściankach znajdują się obrazki i litery, co umożliwia zadania polegające na wyszukiwaniu, sortowaniu i układaniu. Robot może być zmuszony obrócić klocek, by zobaczyć ukrytą ściankę, zanim zdecyduje, gdzie go umieścić. Do tego dochodzi randomizacja domeny: od sceny do sceny zmieniają się rozmiar klocków, wysokość stołu i inne właściwości fizyczne. Pozwala to sprawdzić, jak modele radzą sobie ze zmianą geometrii.

Jak powstają umiejętności i dane

ToyBlocks rozdziela dwa poziomy sterowania. Modele wysokiego poziomu decydują, co zrobić, a modele niskiego poziomu sterują ruchami robota.

Krótkie umiejętności, czyli zachowania obejmujące krótkie sekwencje akcji, generuje się za pomocą uczenia ze wzmocnieniem (RL) i planowania ruchu. Trening odbywa się w Isaac Lab, otwartym frameworku Nvidii do uczenia robotów w symulacji. Metodą prób i błędów polityki sterujące uczą się tzw. umiejętności niechwytnych, na przykład przepychania klocka po stole albo przewracania go na inną ściankę bez podnoszenia. Generator może korzystać z informacji uprzywilejowanych, takich jak dokładna pozycja i orientacja klocka. Symulator podaje je wprost, a prawdziwy robot musiałby je szacować z obrazu kamery. Dzięki temu automatycznie powstają umiejętności, które w realnym świecie wymagałyby teleoperacji, czyli zdalnego sterowania robotem przez człowieka.

Następnie do pracy włącza się planer zadań i ruchu (TAMP). Dobiera i układa w sekwencję umiejętności potrzebne do wykonania zadania oraz planuje ruchy robota między nimi. Każdy plan uruchomiony w symulacji daje nagraną demonstrację z etykietą opisującą wykonywane zadanie lub umiejętność. Setki takich planów działają równolegle na jednym procesorze graficznym, do 24 razy szybciej niż w czasie rzeczywistym. O tym, jak Nvidia rozwija symulacje, pisaliśmy przy okazji agentów AI budujących symulacje przemysłowe w Omniverse.

Gotowe modele nie dostają już danych uprzywilejowanych. Aby odzwierciedlić warunki rzeczywiste, ToyBlocks trenuje modele, które przekładają surowe obserwacje z czujników na akcje. Model musi więc sam oszacować pozę klocka, czyli jego położenie i orientację.

Generator jest sterowalny. Można tworzyć mieszanki danych, które akcentują wybrane umiejętności albo uzupełniają luki w istniejących zbiorach. Badacze mogą na przykład sprawdzić, czy dodanie demonstracji obracania oraz podnoszenia i odkładania poprawia przewracanie klocków. Mogą też zmieniać proporcje przykładów z wnętrza i spoza wyznaczonego obszaru roboczego. Skutki takich decyzji ocenia się na zadaniach wyłączonych z treningu.

Wyniki: generalizacja nadal kuleje

Pierwsza seria eksperymentów dotyczyła modeli wizja–język–akcja (VLA), które przekładają instrukcje językowe i obraz na ruchy robota. Takie modele mają dzięki pretreningowi na dużych zbiorach szybko generalizować na nowe scenariusze. Dowody są jednak sprzeczne. Część badań pokazuje, że VLA są kruche wobec zmian układu obiektów czy oświetlenia, inne wskazują na dobrą generalizację. Zdaniem Ai2 problem polega na tym, że takie badania często opierają się na danych z realnego świata, w których zmienność przestrzenna jest ograniczona.

Zespół testował cztery zadania: Stack, Unstack, Flip i Rotate, czyli układanie w stos, rozbieranie stosu, przewracanie i obracanie. Badano dwa przypadki:

  • interpolację, czyli nowe konfiguracje w zakresie znanym z treningu,
  • ekstrapolację, czyli konfiguracje spoza tego zakresu.

W jednym z testów obiekty pojawiały się podczas treningu tylko w lewej części stołu, a ocena odbywała się w prawej. W innym model trenowano na stosach z 2 i 5 klocków, a sprawdzano na stosach z 3 i 4. Testy zmieniały też sekwencje umiejętności potrzebne do wykonania polecenia, litery i kolory na klockach oraz liczbę klocków w scenie.

Badano modele ManiFlow, π0.5 i MolmoAct 2. W początkowych wynikach wszystkie generalizowały słabo, mimo pretreningu na dużą skalę. Autorzy poprawili wyniki, sięgając m.in. po LoRA (adaptację niskiego rzędu, czyli dostrajanie modelu przez niewielki zestaw trenowanych aktualizacji wag), i przeanalizowali wkład poszczególnych technik. Ich ogólny wniosek jest jednak taki, że generalizacja modeli akcji wciąż jest daleka od rozwiązania, a ToyBlocks ma być poligonem do systematycznego badania tego problemu.

Planowanie długich zadań i agenci

Druga seria dotyczyła zadań długohoryzontalnych, wymagających wielu kroków. Framework pozwala tworzyć takie zadania wraz z tzw. wyroczniami, czyli komponentami referencyjnymi, które dostarczają poprawnych planów lub akcji na obu poziomach. Gdy model zawiedzie, można dzięki temu ustalić, czy zawiodło planowanie, czy wykonanie.

Przykładowe zadanie brzmi: ułożyć ze stosu klocków napis „Ai2”. Litery mogą nie być od razu widoczne, więc agent musi najpierw wykonać akcje, które ujawnią brakujące informacje, a dopiero potem zaplanować i zbudować stos. W tym układzie Molmo 2 pełnił rolę planera wysokiego poziomu: wybierał umiejętność oraz klocek, wskazując go przez interfejs wskazywania. ManiFlow wykonywał polecenia. Model niskiego poziomu nauczono zatrzymywać się po wykonaniu instrukcji i pytać planer o następny krok. Trudność rosła w trzech scenariuszach:

  • w najłatwiejszym wszystkie litery stoją prosto i są zwrócone do kamery,
  • w średnim litery mogą nie stać prosto,
  • w najtrudniejszym część liter na początku epizodu w ogóle nie jest widoczna.

Mierzono skuteczność dla par Molmo 2 z ManiFlow oraz Molmo 2 z klasycznym planerem ruchu, w trzech poziomach trudności i dwóch warunkach generalizacji.

Trzecia seria sprawdzała, jak modele czołowe planują i działają przez wywołania narzędzi. Ai2 badał trzy ustawienia z udziałem Claude Opus 5.5. W scenariuszu „wyszukaj i przeliteruj” umiejętności ToyBlocks udostępniono przez Model Context Protocol (MCP), standard łączenia aplikacji AI z narzędziami. Dostarczony materiał źródłowy urywa się w tym miejscu, więc szczegółów tych eksperymentów nie omawiamy. Wśród badanych obszarów autorzy wymieniają też przenoszenie modeli na fizyczne roboty, ale w dostępnym fragmencie nie podają wyników.

Dlaczego to ma znaczenie

ToyBlocks nie obiecuje robota, który od jutra posprząta mieszkanie. Proponuje metodę: zamiast efektownych, ale trudnych do zinterpretowania pokazów, kontrolowany świat, w którym da się odpowiedzieć na pytania o skalowanie danych, łączenie rozumowania z precyzyjnym sterowaniem czy źródła porażek. Interfejs z Claude'em lub innym modelem czołowym pozwala eksperymentować także osobom bez doświadczenia w robotyce. Ai2 zapowiada, że kolejne FoundationWorlds obejmą coraz bardziej złożone środowiska.

Klocki na stole to celowo skromny początek. Pierwsze wyniki pokazują jednak, że nawet w tak prostym świecie dzisiejsze modele robotyczne mają z generalizacją wyraźny problem.

Udostępnij
Powrót do nawigacji