Pro²Assist — proaktywny asystent AI przewyższa konkurencję o 21% w zadaniach wieloetapowych

Kluczowe wnioski

• Pro²Assist przewyższa najlepsze systemy bazowe o ponad 21% w dokładności rozumienia działań proceduralnych
• System osiąga do 2,29 razy lepszą dokładność w proaktywnym określaniu czasu interwencji niż konkurencyjne rozwiązania
• 90% z 20 uczestników badania uznało Pro²Assist za przydatny w praktycznych zastosowaniach
• System analizuje dane multimodalne z okularów AR w czasie rzeczywistym, śledząc drobnoziarniste postępy w zadaniach
• Asystent automatycznie wnioskuje o potrzebach użytkownika bez konieczności zadawania pytań

Przełom w proaktywnej pomocy AI

Tradycyjne systemy asystentów AI działają reaktywnie — odpowiadają dopiero po zadaniu pytania przez użytkownika. Pro²Assist wprowadza rewolucyjne podejście, oferując proaktywną pomoc podczas wykonywania długotrwałych zadań wieloetapowych, które są powszechne w życiu codziennym.

System wykorzystuje multimodalne modele językowe (MLLM) oraz dane z okularów rozszerzonej rzeczywistości do ciągłego monitorowania aktywności użytkownika. Kluczowa innowacja polega na analizie wieloskalowej dynamiki czasowej i wiedzy eksperckiej specyficznej dla zadania, co pozwala na zrozumienie kontekstu proceduralnego.

Architektura i możliwości systemu

Pro²Assist działa w oparciu o percepcję egocentryczną bazującą na ruchu, wykorzystując dane z okularów AR do śledzenia działań użytkownika. System ekstraktuje kontekst proceduralny zorientowany na kroki, analizując zarówno dane sensoryczne, jak i wiedzę o strukturze wykonywanego zadania.

Na podstawie tych informacji asystent przeprowadza ciągłe rozumowanie w celu określenia potrzeb użytkownika i wyświetlania wskazówek na okularach AR w odpowiednim momencie. Takie podejście umożliwia wsparcie w złożonych, wieloetapowych procedurach bez konieczności przerwania pracy w celu zadania pytania.

Wyniki testów i ocena użytkowników

Skuteczność Pro²Assist została potwierdzona w testach na dwóch zestawach danych: kuratorskim zbiorze z publicznych źródeł oraz rzeczywistych danych zebranych na stanowisku testowym z okularami AR. System znacząco przewyższył konkurencyjne rozwiązania w kluczowych metrykach wydajności.

Badanie użyteczności z udziałem 20 osób potwierdziło praktyczną wartość systemu — przeważająca większość uczestników uznała Pro²Assist za przydatny w realnych scenariuszach. Wyniki te sugerują duży potencjał zastosowania technologii w codziennych zadaniach wymagających proceduranego wsparcia.

Pro²Assist reprezentuje znaczący postęp w kierunku bardziej inteligentnych i intuicyjnych asystentów AI, które mogą przewidywać potrzeby użytkowników zamiast jedynie reagować na ich zapytania.