Przejdź do treści
5 min czytania

UQ-DAAAM z MIT: robot sam poprawia błędne wpisy w swojej pamięci

UQ-DAAAM z MIT mierzy niepewność robota i poprawia błędne opisy obiektów w jego pamięci. Rozwiązuje niejednoznaczności dla ok. 92 proc. obiektów w otoczeniu.

Naukowcy z MIT opracowali system, który pozwala robotom wykrywać i poprawiać błędne opisy obiektów zapisane w ich pamięci. Rozwiązanie nazwane UQ-DAAAM porównuje opisy tego samego przedmiotu wykonane z różnych perspektyw. Na tej podstawie ocenia, na ile robot jest pewien tego, co zobaczył, a niepewne wpisy koryguje w czasie rzeczywistym, podczas ruchu. Jak informuje MIT News w artykule o „zamglonej pamięci” robotów, metoda poprawiła trafność odpowiedzi robota na pytania o to, jakie obiekty widział, gdzie i kiedy.

Autorzy pokazują stawkę na prostym przykładzie. W nagłej sytuacji człowiek prosi robota-asystenta, by przyniósł defibrylator zawieszony na ścianie w głębi korytarza. Jeśli robot zapamiętał to urządzenie jako gaśnicę, może go po prostu nie znaleźć.

Kluczowe wnioski

  • UQ-DAAAM (Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment) mierzy niepewność robota co do opisów obiektów i poprawia te, które mogą być błędne.
  • System łączy dwa źródła niepewności: pewność modelu wizyjno-językowego (VLM) co do wygenerowanych słów oraz spójność opisów tego samego obiektu widzianego z różnych punktów.
  • Etap korekty rozwiązuje niejednoznaczności dla około 92 proc. obiektów w otoczeniu robota i wymaga średnio tylko dwóch dodatkowych opisów na obiekt.
  • Dokładność opisów obiektów wzrosła o 5 proc. względem najlepszych dotychczasowych metod.
  • Badanie zostanie zaprezentowane na konferencji Conference on Neural Information Processing Systems (NeurIPS).

Skąd biorą się błędy w pamięci robota

UQ-DAAAM rozwija wcześniejszy projekt tego samego zespołu, system pamięci DAAAM. Wykorzystuje on model wizyjno-językowy do szczegółowego opisywania obiektów na obrazach z kamer pokładowych robota. Opisy trafiają do reprezentacji otoczenia opartej na trójwymiarowej mapie, z której robot może później korzystać, odpowiadając na pytania.

Kłopot pojawia się wtedy, gdy obraz jest niepełny. Robot czasem widzi obiekt tylko częściowo albo z dużej odległości, a kamera rejestruje zdjęcia rozmazane lub słabo oświetlone. DAAAM może wtedy opisać obiekt błędnie. W przykładzie badaczy szary komin na dachu został wzięty za siedzącą tam wiewiórkę.

„Ponieważ nie ma sposobu, by się poprawić, taka błędna informacja utrzymywałaby się w pamięci, gdy robot porusza się dalej, co mogłoby wpłynąć na dalsze zastosowania” — wyjaśnia Harry Zhang, doktorant MIT i jeden z głównych autorów pracy.

Nowe rozwiązanie wbudowuje w DAAAM kwantyfikację niepewności. Robot może dzięki temu ocenić, na ile ufa poprawności swoich opisów, i naprawiać błędne podpisy, przemieszczając się po otoczeniu.

Jak działa UQ-DAAAM

W ruchu robot nieustannie zbiera i zapisuje obrazy otoczenia. Wiele z nich przedstawia te same obiekty pod różnymi kątami. UQ-DAAAM wykorzystuje te dodatkowe ujęcia w kilku krokach:

  1. Ocena pewności modelu. System oblicza, na ile VLM jest pewien słów, którymi opisał potencjalnie źle rozpoznany obiekt.
  2. Ocena spójności. Opis jest porównywany z podpisami innych zdjęć tego samego obiektu, wykonanych z innych punktów obserwacji.
  3. Jedna miara niepewności. Oba wyniki są łączone w jedną wartość.
  4. Korekta. Jeśli wartość przekracza określony próg, niepewność uznaje się za zbyt wysoką i system doprecyzowuje opis na podstawie kolejnych zdjęć obiektu.

„Łączymy oba źródła niepewności w jedną liczbę, która oddaje, jak pewny jest VLM swojego ogólnego zrozumienia obiektu” — tłumaczy Luca Carlone, profesor nadzwyczajny w Department of Aeronautics and Astronautics (AeroAstro) MIT, główny badacz w Laboratory for Information and Decision Systems (LIDS), dyrektor MIT SPARK Laboratory i senior author publikacji.

O tym, które ujęcia wybrać, decyduje heurystyka, czyli prosta reguła wskazująca widoki, które najbardziej zmniejszą niepewność. Może to być na przykład zdjęcie zrobione kilka klatek później, na którym wyraźnie widać dym unoszący się z komina.

Kluczowy jest tu wynik teoretyczny. Badacze udowodnili matematycznie, że heurystyka potrafi wskazać najlepsze klatki bez ponownego uruchamiania modelu VLM, co radykalnie zmniejsza ilość obliczeń. Zespół zastosował też specjalną technikę, która usprawnia cały proces, tak by mobilny robot mógł na bieżąco aktualizować niepewne wpisy w pamięci.

„Główne wyzwanie, z którym musieli się zmierzyć Nico i Harry, polegało na tym, jak połączyć modele VLM z kwantyfikacją niepewności w coś, co działa w ułamku sekundy na poruszającym się robocie” — mówi Carlone.

Pamięć, której można zaufać

Gdy system wybierze dodatkowe opisy, które zmniejszą niepewność, duży model językowy (LLM) łączy je w jeden opis obiektu. Aby zwiększyć trafność, model przypisuje większą wagę nowszym podpisom oraz tym, które są mniej niejednoznaczne.

Na ilustracji z badania robot najpierw stwierdza, że nie potrafi dokładnie opisać ciemnego obiektu na dachu, a potem błędnie rozpoznaje go jako wiewiórkę. W miarę ruchu, po uwzględnieniu niepewności, doprecyzowuje widok i ostatecznie opisuje obiekt jako „ciemnoszary, cylindryczny komin z lekko zwężającym się wierzchołkiem i gładką powierzchnią”.

W porównaniu z metodami bazowymi UQ-DAAAM zwiększył pewność robota i dawał trafniejsze odpowiedzi na pytania o obserwowane obiekty, miejsce, w którym je widział, oraz moment, w którym ostatnio je napotkał.

„Przeprowadzenie tej procedury kwantyfikacji niepewności na całej mapie generowanej przez robota pozwala mu lepiej zrozumieć to, co zaobserwował” — podsumowuje Nicolas Gorlo, drugi z głównych autorów pracy.

Badacze widzą zastosowanie metody w robotach domowych i przemysłowych, które wykonują złożone, wieloetapowe zadania. Przykłady to sprzątanie stołu w jadalni czy wspólne z ludźmi składanie maszyny.

Fizyczna AI musi wiedzieć, czego nie wie

Carlone zwraca uwagę, że w robotyce wymagania wobec niezawodności AI są inne niż w przypadku chatbotów:

„W przeciwieństwie do ChatGPT, gdy myślimy o fizycznej AI, nie wystarczy dodać zastrzeżenia, że robot czasem może się mylić. Umożliwienie robotowi rozpoznania, czego nie wie, będzie kluczowe, by tę technologię można było wdrażać bezpiecznie i by miała pozytywny wpływ na społeczeństwo”.

Zespół planuje kolejne kroki. Chce zastosować UQ-DAAAM do sterowania innymi typami robotów, na przykład mobilnymi manipulatorami, oraz przenieść techniki kwantyfikacji niepewności do innych dziedzin. Naukowcy badają też, jak wykorzystać system do wskazywania obszarów o wysokiej niepewności, które robot mógłby odwiedzić ponownie, by lepiej poznać otoczenie. Analizują również kwantyfikację niepewności w systemach przewidujących przyszły stan otoczenia robota.

Praca nosi tytuł „Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees”. Badania częściowo sfinansowały U.S. Army Research Laboratory oraz U.S. Office of Naval Research. MIT zaznacza, że Carlone przebywa obecnie na urlopie naukowym jako Amazon Scholar, ale opisane prace wykonano na MIT i nie są one powiązane z Amazonem.

UQ-DAAAM pozwala robotowi rozpoznać, które wspomnienia są niepewne, i poprawić je na bieżąco, bez kosztownego ponownego przetwarzania obrazów. To krok w stronę maszyn, którym można bezpieczniej powierzać zadania w realnym świecie.

Udostępnij

Źródła

Powrót do nawigacji