NVIDIA przedstawia Cosmos 3 Edge — model świata dla robotyki brzegowej

NVIDIA udostępniła Cosmos 3 Edge — kompaktowy model świata o 4 miliardach parametrów, zaprojektowany specjalnie do działania na urządzeniach brzegowych w robotyce i systemach wizji komputerowej. Model został opublikowany na platformie Hugging Face i ma pomóc robotom rozumieć otoczenie oraz podejmować decyzje w czasie rzeczywistym.

Cosmos 3 Edge to przełom w dziedzinie fizycznej sztucznej inteligencji — łączy możliwości rozumienia sceny, przewidywania przyszłych stanów i generowania akcji robotycznych w jednym modelu działającym lokalnie na urządzeniach brzegowych.

Kluczowe wnioski

• Model osiąga wydajność na poziomie centrum danych przy ograniczeniach pamięciowych urządzeń brzegowych, działając na kartach NVIDIA RTX PRO, GeForce RTX, Jetson i DGX.
• Cosmos 3 Edge zajmuje pierwsze miejsce w benchmarku VANTAGE-Bench wśród modeli o podobnej wielkości (4 mld parametrów) i ustanawia nowy standard w uczeniu się polityk robotycznych.
• Model działa w rozdzielczości kontroli robotycznej (640×360) i generuje 32 akcje na jedno wywnioskowanie, osiągając kontrolę w czasie rzeczywistym przy 15 Hz na NVIDIA Jetson Thor.
• Architektura łączy dwie wieże transformerów — autoregresyjną do rozumowania i dyfuzyjną do przewidywania i generowania akcji.
• NVIDIA udostępnia również wersję Cosmos 3 Edge Policy (DROID) wytrenowaną na zbiorze danych DROID do zadań manipulacji typu „pick-and-place”.

Architektura dwuwieżowa dla lepszego rozumienia świata

Cosmos 3 Edge wykorzystuje innowacyjną architekturę składającą się z dwóch wież transformerów, które współdzielą wspólną reprezentację danych multimodalnych. Wieża autoregresyjna przetwarza tokeny wizualne i tekstowe dla rozumienia i rozumowania, podczas gdy wieża dyfuzyjna obsługuje tokeny wizualne, dźwiękowe i akcji dla przewidywania i generacji.

Kluczowym elementem są warstwy uwagi multimodalnej, które wyrównują informacje z języka, wideo, dźwięku i akcji. Wzorce uwagi są dostosowane do każdego typu informacji — język wykorzystuje uwagę przyczynową, gdzie każdy token odnosi się do poprzednich tokenów, natomiast tokeny dyfuzyjne mają szerszy dostęp do kontekstu.

Model mapuje różne reprezentacje akcji fizycznych systemów — od pozy ego pojazdu, przez ruch kamery, po pozę efektora końcowego ramienia robotycznego — w jednolitą reprezentację geometryczną obejmującą translację, rotację i stan manipulacji.

Tryb polityki i praktyczne zastosowania

W trybie polityki Cosmos 3 Edge przewiduje akcję wraz z jej oczekiwaną konsekwencją wizualną. Model może generować to, co system powinien zrobić, i symulować prawdopodobny wynik. To bezpośrednio łączy modelowanie świata z trenowaniem i oceną polityk robotycznych.

Deweloperzy mogą używać małego klastra H100 lub NVIDIA DGX Station do efektywnego dostrajania Cosmos 3 Edge dla swoich konkretnych zastosowań przed wdrożeniem na platformach NVIDIA edge i obliczeniach przyspieszanych. NVIDIA udostępnia również referencyjne punkty kontrolne i przepisy treningowe po dodatkowym treningu.

Model został zaprojektowany jako kompaktowy otwarty model, który może służyć jako mały model językowy wizualny (VLM) z najlepszą w klasie przepustowością i dokładnością przy wnioskowaniu w czasie rzeczywistym. Cosmos 3 Edge reprezentuje znaczący krok naprzód w kierunku autonomicznych systemów fizycznych zdolnych do rozumienia i działania w złożonych środowiskach rzeczywistych.