ARMOR 2025: pierwszy benchmark testujący bezpieczeństwo AI w zastosowaniach wojskowych

Dotychczasowe benchmarki bezpieczeństwa koncentrowały się na ogólnych zagrożeniach społecznych, nie testując zgodności z prawnymi i etycznymi standardami rzeczywistych operacji wojskowych. ARMOR 2025 wypełnia tę lukę, oferując systematyczną ocenę zgodności modeli z zasadami prawa wojny.

Kluczowe wnioski

• ARMOR 2025 to pierwszy benchmark testujący bezpieczeństwo AI w kontekście wojskowym, oparty na prawie wojny, zasadach zaangażowania i regulacjach etycznych
• Benchmark zawiera 519 pytań wielokrotnego wyboru pogrupowanych w 12 kategorii według framework'u decyzyjnego OODA (Observe Orient Decide Act)
• Testy przeprowadzone na 21 komercyjnych modelach językowych ujawniły poważne deficyty w dostosowaniu do standardów militarnych
• Badanie wykorzystuje autentyczne teksty doktrynalne, zachowując pierwotne znaczenie każdej zasady prawnej i etycznej
• Rezultaty wskazują na pilną potrzebę specjalistycznego treningu modeli AI przeznaczonych do zastosowań obronnych

Metodologia i struktura benchmarku

ARMOR 2025 opiera się na trzech filarach doktryny militarnej: prawie wojny (Law of War), zasadach zaangażowania (Rules of Engagement) oraz wspólnych regulacjach etycznych (Joint Ethics Regulation). Autorzy badania wyekstraktowali teksty doktrynalne bezpośrednio z tych źródeł, generując pytania wielokrotnego wyboru, które zachowują oryginalne znaczenie każdej zasady.

Benchmark organizuje testy według taksonomii inspirowanej framework'iem decyzyjnym OODA, który stanowi podstawę wojskowego podejmowania decyzji. Ta struktura umożliwia systematyczne testowanie dokładności i odmowy odpowiedzi w różnych typach decyzji istotnych dla kontekstu militarnego.

Wyniki ewaluacji i implikacje

Przeprowadzone testy na 21 komercyjnych modelach językowych ujawniły krytyczne luki w dostosowaniu do bezpieczeństwa aplikacji wojskowych. Modele, które dobrze radzą sobie z cywilnymi benchmarkami bezpieczeństwa, wykazały znaczące deficyty w przestrzeganiu specyficznych zasad militarnych.

Badanie podkreśla rosnące znaczenie dużych modeli językowych w aplikacjach obronnych, gdzie mogą wspierać podejmowanie decyzji, koordynację i efektywność operacyjną. Jednak ich wdrożenie wymaga niezawodności i zgodności z przepisami prawnymi właściwymi dla tego sektora.

ARMOR 2025 stanowi fundament dla przyszłego rozwoju modeli AI dostosowanych do wymagań militarnych, oferując pierwszy standaryzowany sposób oceny ich gotowości do rzeczywistych zastosowań obronnych.