Przejdź do treści
5 min czytania

Benchmark MKA: najlepsze AI spełnia 56,6 proc. wymagań ekspertów

Benchmark MKA od Google DeepMind i Artificial Analysis sprawdził AI na 200 zadaniach z planami, wykresami i arkuszami. Najlepszy model uzyskał 56,6 proc.

Benchmark MKA: najlepsze AI spełnia 56,6 proc. wymagań ekspertów

Źródło zdjęcia: Spider's Web

Google DeepMind i firma Artificial Analysis sprawdziły, jak modele AI radzą sobie z dokumentami, z którymi specjaliści pracują na co dzień. Chodzi o rysunki techniczne, złożone wykresy, skany i arkusze kalkulacyjne. Wynik studzi entuzjazm. W nowym benchmarku MKA (Multimodal Knowledge Agent), złożonym z 200 zadań wzorowanych na realnej pracy ekspertów, najlepszy model spełnił średnio niewiele ponad połowę najtrudniejszych wymagań. Wyniki testu opisał serwis Spider's Web.

Benchmark nie sprawdza, czy AI znajdzie jedną odpowiedź w długim PDF-ie. Sprawdza, czy potrafi samodzielnie przeprowadzić projekt: przeanalizować zestaw plików, połączyć rozproszone informacje i przygotować poprawny produkt pracy, na przykład raport, arkusz, prezentację lub dokumentację techniczną.

Najważniejsze informacje

  • MKA obejmuje 200 zadań opracowanych z udziałem ekspertów z 83 zawodów i 10 branż. Doświadczonemu specjaliście każde zajęłoby od 3 do 8 godzin.
  • Prowadzi Claude Fable 5.2 z wynikiem 56,6 proc. w najtrudniejszych kryteriach. Za nim są Gemini 4 Carbon (54,3 proc.) i Claude Opus 5.5 (53 proc.). Badacze nie uznali różnic między tą trójką za statystycznie rozstrzygające.
  • Gemini 4 Carbon był ponad 6 razy tańszy w przeliczeniu na zadanie niż lider i zużył znacznie mniej tokenów.
  • Bez narzędzia do oglądania obrazów wynik Gemini 4 Carbon spadł o 5,94 punktu procentowego, a zużycie tokenów wejściowych wzrosło o 85 proc.
  • Oceny wystawia agent AI. W kontroli na 50 zadaniach zgadzał się z ludzkimi ekspertami w 96,2 proc. pojedynczych ocen.

Zadania wzięte z prawdziwej pracy

W przygotowaniu MKA uczestniczyli m.in. architekci, inżynierowie, lekarze, analitycy finansowi, prawnicy i naukowcy. Każdy projekt miał odpowiadać rzeczywistym obowiązkom zawodowym. Do każdego przygotowano też szczegółowe kryteria oceny, które obejmują zarówno poprawność informacji, jak i jakość gotowego materiału.

Dobrze widać to na przykładach. W jednym z zadań agent dostaje plany pięciu kondygnacji budynku, przekroje i rysunki elewacji. Musi sprawdzić, czy rozmieszczenie drzwi, okien i innych elementów jest spójne na wszystkich rysunkach. Na koniec przygotowuje prezentację z wykrytymi nieprawidłowościami, popartą fragmentami odpowiednich rysunków. Odczytanie opisów nie wystarczy. Model musi rozumieć, co oznaczają linie, symbole i wymiary.

W innym zadaniu AI analizuje dachy budynków w Nottingham pod kątem montażu paneli fotowoltaicznych. Dostaje mapy, dane wysokościowe, informacje o nasłonecznieniu i miejskich nieruchomościach. Na tej podstawie wybiera najlepsze lokalizacje i przygotowuje raport.

Według autorów tekstu właśnie takie zadania odróżniają sprawnego asystenta od systemu, któremu można powierzyć cały projekt. Spider's Web zauważa, że Gemini potrafi już samodzielnie generować pliki Worda, Excela i PDF, a Microsoft rozwija podobnych agentów w Wordzie, Excelu i PowerPoincie. MKA stawia jednak trudniejsze pytanie: czy zawartość takiego pliku jest naprawdę poprawna? Atrakcyjna prezentacja nie gwarantuje poprawnych obliczeń.

Jak czytać wyniki: 56,6 proc. to nie odsetek ukończonych projektów

Ranking opublikowany przez Artificial Analysis łatwo źle zinterpretować. Wynik 56,6 proc. Claude Fable 5.2 nie oznacza, że model bezbłędnie ukończył ponad połowę projektów. To średni ważony udział spełnionych wymagań w trudniejszej części testu. Kolejne miejsca zajęły:

  • Claude Fable 5.2 – 56,6 proc.
  • Gemini 4 Carbon – 54,3 proc.
  • Claude Opus 5.5 – 53 proc.

Różnice w czołówce są tak małe, że badacze nie uznali ich za statystycznie rozstrzygające. Google zwraca uwagę na koszty. Gemini 4 Carbon osiągnął wynik zbliżony do lidera przy znacznie mniejszym zużyciu tokenów, a jego praca kosztowała w przeliczeniu na zadanie ponad 6 razy mniej niż praca Claude Fable 5.2.

Modele różniły się też sposobem działania. Jednym wystarczało średnio około 30 interakcji z narzędziami, inne potrzebowały niemal 130. Wszystkie pracowały w tym samym środowisku i miały do dyspozycji podobny zestaw możliwości.

Eksperyment: AI bez „wzroku”

Badacze odebrali Gemini 4 Carbon narzędzie do bezpośredniego oglądania obrazów. Model zachował dostęp do kodu i programów analizujących pliki. Próbował radzić sobie na różne sposoby: zamieniał obrazy na znaki tekstowe, korzystał z bibliotek komputerowego rozpoznawania obrazu i pisał dodatkowe skrypty. Część informacji rzeczywiście w ten sposób odzyskał.

Kosztowało go to jednak dużo więcej pracy. Wynik w trudniejszych kryteriach spadł o 5,94 punktu procentowego, a zużycie tokenów wejściowych wzrosło o 85 proc. Przy zdjęciach medycznych i innych złożonych obrazach jakość spadała jeszcze bardziej.

Spider's Web zestawia to z wcześniejszymi testami modeli analizujących obrazy i diagramy. Rozpoznanie przedmiotu na zdjęciu to co innego niż poprawne wykorzystanie szczegółów rysunku w wieloetapowym projekcie.

AI ocenia AI, a zestaw testowy pozostaje tajny

Ręczne sprawdzenie 200 złożonych projektów wykonanych przez wiele modeli byłoby ogromnym przedsięwzięciem. Twórcy benchmarku powierzyli je kolejnemu agentowi AI. Otwiera on gotowe pliki, analizuje formuły, ogląda strony i porównuje rezultaty z wymaganiami ekspertów. W badaniu kontrolnym na 50 zadaniach automatyczny oceniający zgadzał się z ludzkimi specjalistami w 96,2 proc. pojedynczych ocen. To wysoka zgodność, ale nie gwarantuje bezbłędnej oceny wszystkich projektów.

Pełny zestaw 200 zadań pozostaje niepubliczny, żeby modele nie mogły wcześniej poznać poprawnych rozwiązań. Udostępniono 10 odrębnych przykładów, które pokazują, jak działa benchmark. Szczegółową metodologię i wyniki opisano w raporcie technicznym Google DeepMind, a ranking jest dostępny w serwisie Artificial Analysis.

Problemem jest odpowiedzialność, nie pisanie

Wyniki MKA mogą ostudzić zapał firm, które chciałyby oddać agentom AI całe procesy analityczne. Model szybko przygotuje rozbudowany dokument, ale nadal może przeoczyć istotny szczegół na rysunku albo źle połączyć dane z kilku plików. Przed tym problemem ostrzegali już eksperci badający zastosowania agentów AI w pracy. Im bardziej złożone zadanie, tym trudniej wykryć błąd ukryty w profesjonalnie wyglądającym rezultacie. Ma to znaczenie także w kontekście takich inicjatyw jak zweryfikowani agenci AI dla firm w ChatGPT.

Trzeba też pamiętać, czego MKA nie mierzy. Benchmark nie bada rozumienia w ludzkim czy filozoficznym sensie. Sprawdza, czy system potrafi wykorzystać informacje wizualne i przygotować poprawny, praktyczny produkt pracy.

Najlepsze modele AI spełniają dziś nieco ponad połowę najtrudniejszych wymagań stawianych przez ekspertów. Generowanie dokumentów to już nie problem. Trudność polega na tym, żeby były one bezbłędne.

Udostępnij

Źródła

Powrót do nawigacji