Google DeepMind prezentuje Gemini Robotics-ER 1.6 z lepszą percepcją dla robotów

Google DeepMind zaprezentował Gemini Robotics-ER 1.6, ulepszoną wersję modelu przeznaczonego do zaawansowanego rozumowania w robotyce. Nowy model działa jako warstwa wysokopoziomowego myślenia, pomagając robotom lepiej rozumieć otoczenie i planować zadania w sposób autonomiczny.

Model może korzystać z zewnętrznych narzędzi, takich jak Google Search czy modele vision-language-action, gdy potrzebuje dodatkowych informacji lub możliwości działania. Według Google DeepMind, Gemini Robotics-ER 1.6 przewyższa zarówno poprzednią wersję 1.5, jak i Gemini 3.0 Flash w kluczowych zadaniach robotycznych.

Kluczowe wnioski

• Lepsza percepcja: Model znacznie poprawił zdolności wskazywania obiektów, liczenia i rozpoznawania pomyślnego wykonania zadań
• Odczyt przyrządów: Dzięki współpracy z Boston Dynamics, robot może teraz czytać manometry i wizjery kontrolne z większą precyzją
• Zaawansowane przetwarzanie obrazu: System łączy agentyczne analizowanie obrazów z wykonywaniem kodu, pozwalając na powiększanie detali i obliczanie proporcji
• Praktyczne zastosowania: Robot Spot firmy Boston Dynamics wykorzystuje te funkcje do inspekcji systemów przemysłowych
• Dostępność dla deweloperów: Model jest dostępny przez Gemini API i Google AI Studio z przykładami w Colab

Przełom w percepcji robotycznej

Gemini Robotics-ER 1.6 wykazuje znaczące ulepszenia w podstawowych zadaniach percepcyjnych. Model lepiej radzi sobie ze wskazywaniem konkretnych obiektów w przestrzeni, precyzyjnym liczeniem elementów oraz oceną, czy zadanie zostało wykonane pomyślnie. Te zdolności stanowią fundament dla bardziej zaawansowanych operacji robotycznych.

Szczególnie imponujące są możliwości rozpoznawania wzrokowego. Robot może teraz analizować złożone sceny wizualne, identyfikować kluczowe elementy i podejmować decyzje na podstawie tego, co "widzi" w swoim otoczeniu.

Współpraca z Boston Dynamics

Kluczowym osiągnięciem nowej wersji jest zdolność do odczytu instrumentów pomiarowych, opracowana we współpracy z Boston Dynamics. Model łączy kilka zaawansowanych technik: powiększa obraz, aby wychwycić drobne szczegóły na wyświetlaczach, wykorzystuje funkcje wskazywania i kod do obliczania proporcji oraz skalowania odległości, a następnie stosuje wiedzę o świecie do interpretacji odczytów.