Przejdź do treści
5 min czytania

Nvidia Omniverse: agenci AI budują symulacje przemysłowe

Deweloperzy łączą frontierowe modele AI jak GPT-6 Astra z bibliotekami Nvidia Omniverse, by budować symulacje magazynów, robotów i pojazdów autonomicznych.

Nvidia Omniverse: agenci AI budują symulacje przemysłowe

Źródło zdjęcia: NVIDIA Blog

Deweloperzy łączą najnowsze modele AI z bibliotekami NVIDIA Omniverse, by przyspieszyć budowę symulacji przemysłowych, robotycznych i motoryzacyjnych. Zamiast ręcznie składać sceny, łączyć fizykę z renderingiem i testować zachowanie modeli krok po kroku, inżynierowie coraz częściej kierują pracą agentów AI za pomocą poleceń w naturalnym języku – od nich wymaga się jedynie weryfikacji wyników i wskazywania kierunku zmian.

Nvidia opisała serię projektów, w których frontierowe modele AI, takie jak GPT-6 Astra czy Claude Fable 5, współpracują z bibliotekami Omniverse – od fizyki, przez rendering, po symulację sensorów – realizując zadania wcześniej wymagające godzin pracy specjalistów.

Kluczowe wnioski

  • Deweloperzy Nvidii wykorzystali agentów AI (głównie GPT-6 Astra) do zbudowania kilkunastu prototypowych aplikacji symulacyjnych – od modeli magazynów po testy turbin gazowych i pojazdów autonomicznych.
  • Biblioteka SimReady Central Library, zaprezentowana na GTC Berlin, udostępnia ponad 2000 gotowych do symulacji zasobów USD od producentów sprzętu, co pozwala agentom szybciej składać sceny.
  • W teście skalowania magazynu symulacja z 80 przenośnikami, 40 ramionami i 800 skrzynkami utrzymała 30 klatek na sekundę w rozdzielczości Full HD, a ramiona wykonały 640 udanych przełożeń.
  • Agenci AI nie tylko budują sceny, ale też porównują dane z symulowanych i rzeczywistych czujników, prowadząc iteracyjne poprawki cyfrowych bliźniaków.
  • Projekty obejmują też eksperymenty z humanoidalnymi robotami – jeden z nich pokonał pojedynczą przeszkodę w 64 na 100 prób symulacyjnych.

Od skanów terenu po edytowalne modele budynków

Jednym z projektów opisanych przez Nvidię jest rekonstrukcja budynku magazynowego bez jego wyposażenia. David Wehr z zespołu technologii symulacji Nvidii wykorzystał Astrę do interpretacji zdjęć panoramicznych, stworzenia geometrii budynku i dopasowania jej do pomiarów chmury punktów. Efektem jest edytowalny, gotowy do symulacji model budynku, w którym deweloperzy mogą swobodnie dodawać lub przesuwać regały i maszyny, by ocenić różne układy automatyzacji magazynu przed wprowadzeniem fizycznych zmian. Modele przechowywane są w formacie OpenUSD, a biblioteka ovrtx Omniverse odpowiada za rendering wyników do inspekcji.

Podobne podejście zastosował Pradeep Kaushik z zespołu relacji z deweloperami Omniverse, który skierował Astrę do zbudowania aplikacji typu „co by było, gdyby” wokół symulowanej turbiny gazowej i generatora. Aplikacja pozwala zmieniać obciążenie, temperaturę otoczenia i skład paliwa, a następnie porównywać moc, sprawność, zużycie paliwa i reakcję urządzenia. Sześć procedur testowych obejmuje m.in. zmiany obciążenia, zablokowany zawór paliwa oraz błąd czujnika spalin. Astra wykorzystała narzędzia Cantera do termochemii oraz SciPy do dynamiki urządzeń, mapując wyniki na animację wirnika i kolorowe wskaźniki temperatury, ciśnienia i prędkości przepływu w widoku przekroju turbiny 3D.

Magazyny, roboty i cyfrowe bliźniaki na dużą skalę

W teście przeprowadzonym przez Bhavika Sanganee, głównego inżyniera Nvidii, Astra posłużyła do budowy symulacji magazynu i stopniowego zwiększania jej złożoności w celu zidentyfikowania wąskich gardeł wydajnościowych. Gdy scena podwoiła swój rozmiar, wydajność spadła poniżej zakładanego celu – rozwiązaniem okazało się równoległe uruchomienie obliczeń fizycznych, renderowania obrazu i przygotowania wideo. Przy 80 przenośnikach, 40 ramionach i 800 skrzynkach symulacja utrzymała 30 klatek na sekundę w pełnej rozdzielczości HD podczas dwuminutowego testu, a ramiona wykonały 640 udanych przełożeń skrzynek. Kolejne podwojenie skali ponownie obniżyło wydajność – testy wskazały, że źródłem spowolnienia był pipeline fizyki i sterowania robotem, co dało Sanganee konkretny obszar do dalszych poprawek.

Nvidia opisała też projekt Oyindamoli Omotuyi, menedżera ds. marketingu technicznego robotyki, który skierował Astrę do zbudowania symulacji robota manipulującego elastycznym kablem – zadanie typowe dla montażu elektroniki, gdzie kabel ugina się podczas ruchu, a złącze musi precyzyjnie trafić do portu. Astra zbudowała symulację w oparciu o NVIDIA Isaac Lab, silnik fizyki Newton i rendering Omniverse z chwytakiem Robotiq, a także opracowała system uczenia ze wzmocnieniem łączący nauczone ruchy prowadzenia kabla z korektami pozycji i orientacji potrzebnymi do wpięcia złącza USB-C.

Innym przykładem jest konwersja modelu CAD robota ABB Robotics YuMi do formatu OpenUSD – Astra dopasowała wygląd robota do zdjęć referencyjnych, skonfigurowała przeguby i geometrię kolizji, a wynik sprawdzono pod kątem wymagań SimReady Foundation przed testem w NVIDIA Isaac Sim. Oba ramiona i chwytaki wykonały po cztery cykle podnoszenia i przenoszenia kostek, choć – jak zaznaczono – szacowane właściwości fizyczne nie zostały skalibrowane względem rzeczywistego robota.

Pojazdy autonomiczne, cyfrowe bliźniaki czujników i humanoidy sportowe

Doyub Kim, menedżer zespołu technologii symulacji Nvidii, poprosił Astrę o zbudowanie środowiska testowego „Zero to Alpamayo” opartego na San Francisco Market Street – wielokrotnego użytku poligonu do porównywania modeli jazdy i śledzenia, jak zmiany sceny lub czujników wpływają na zachowanie modelu prowadzącego pojazd. Osobny eksperyment z Cosmos3-Nano zmieniał pogodę i oświetlenie w nagranych wideo symulacyjnych, pozwalając porównać reakcje modelu jazdy w tym samym scenariuszu pod różnymi warunkami.

Z kolei Ashley Reid, zajmująca się walidacją czujników RTX w Nvidii, skierowała agentów Astra i Claude Fable 5 do porównania wyników symulowanej kamery i surowego LiDAR-u z danymi rzeczywistymi. W ciągu około trzech dni agenci stworzyli od podstaw dwa cyfrowe bliźniaki i udoskonalili dwa istniejące, iteracyjnie mierząc różnice i modyfikując sceny OpenUSD. Ten rodzaj pracy agentów AI działających poza bezpośrednią, ciągłą kontrolą człowieka pokazuje, jak zmienia się rola deweloperów – z wykonawców na nadzorców procesów prowadzonych przez modele AI.

Tae Kim, który kieruje inżynierią i rozwojem produktu Omniverse w Nvidii, użył nagrań sportowych i poleceń w języku naturalnym, by skierować Astrę do zbudowania projektu „Robo Olympics” – testującego symulowane humanoidy Unitree G1 wykonujące ruchy sportowe. Astra zbudowała kontrolery i udoskonalała je poprzez próby fizyczne, wykorzystując Newton Physics Engine do symulacji zachowań oraz otwartoźródłowy framework NVIDIA Warp do przyspieszenia obliczeń. W jednym z eksperymentów robot pokonał pojedynczą przeszkodę w 64 na 100 prób symulacyjnych, co dało Kimowi dane potrzebne do poprawy czasu reakcji i sterowania.

Podsumowanie

Projekty opisane przez Nvidię pokazują wyraźny trend: budowa symulacji przemysłowych, robotycznych i motoryzacyjnych coraz częściej odbywa się poprzez dialog z agentami AI, a nie ręczne programowanie scen. Deweloperzy zachowują rolę kontrolną – kierują, weryfikują i poprawiają – ale ciężar techniczny przenosi się na modele takie jak GPT-6 Astra czy Claude Fable 5, działające w połączeniu z bibliotekami NVIDIA Omniverse.

Udostępnij
Powrót do nawigacji