Dlaczego "ludzie w pętli" w wojnie AI to iluzja
Źródło zdjęcia: MIT Technology Review
Dostępność sztucznej inteligencji w zastosowaniach militarnych stała się centrum prawnej batalii między firmą Anthropic a Pentagonem. Ta debata nabrała szczególnej pilności w kontekście obecnego konfliktu z Iranem, gdzie AI odgrywa większą rolę niż kiedykolwiek wcześniej. Sztuczna inteligencja nie jest już tylko narzędziem wspomagającym analizę wywiadowczą – stała się aktywnym graczem, generującym cele w czasie rzeczywistym, kontrolującym przechwytywanie pocisków i kierującym śmiercionośnymi rojami autonomicznych dronów.
Większość publicznej dyskusji na temat autonomicznych systemów uzbrojenia napędzanych przez AI koncentruje się na tym, jak bardzo ludzie powinni pozostać "w pętli" decyzyjnej. Zgodnie z obecnymi wytycznymi Pentagonu, ludzki nadzór ma zapewniać odpowiedzialność, kontekst i niuanse, jednocześnie zmniejszając ryzyko włamania.
Systemy AI to nieprzeniknione "czarne skrzynki"
Jednak debata nad "ludźmi w pętli" to jedynie pocieszająca dystrakcja. Bezpośrednie zagrożenie nie polega na tym, że maszyny będą działać bez ludzkiego nadzoru, lecz na tym, że ludzcy nadzorcy nie mają pojęcia, co maszyny faktycznie "myślą". Wytyczne Pentagonu są fundamentalnie wadliwe, ponieważ opierają się na niebezpiecznym założeniu, że ludzie rozumieją, jak funkcjonują systemy AI.
Najnowocześniejsze systemy AI to w istocie "czarne skrzynki". Znamy dane wejściowe i wyjściowe, ale sztuczny "mózg" je przetwarzający pozostaje nieprzenikniony. Nawet ich twórcy nie potrafią ich w pełni interpretować ani zrozumieć, jak działają. A gdy systemy AI przedstawiają uzasadnienia swoich decyzji, nie zawsze są one godne zaufania.
Iluzja ludzkiego nadzoru nad systemami autonomicznymi
W debacie nad ludzkim nadzorem podstawowe pytanie pozostaje bez odpowiedzi: czy możemy zrozumieć, co system AI zamierza zrobić, zanim zacznie działać?
Wyobraźmy sobie autonomicznego drona, którego zadaniem jest zniszczenie wrogiej fabryki amunicji. Automatyczny system dowodzenia i kontroli ustala, że optymalnym celem jest budynek magazynowy z amunicją. System raportuje 92% prawdopodobieństwo sukcesu misji, ponieważ wtórne wybuchy amunicji w budynku całkowicie zniszczą obiekt. Ludzki operator sprawdza cel wojskowy, widzi wysoką skuteczność i zatwierdza atak.
Operator nie wie jednak, że w obliczenia systemu AI został włączony ukryty czynnik: poza zniszczeniem fabryki amunicji, wtórne wybuchy poważnie uszkodzą pobliski szpital dziecięcy. Akcja ratunkowa skoncentruje się wtedy na szpitalu, zapewniając spalenie fabryki. Dla AI maksymalizacja zakłóceń w ten sposób spełnia założony cel. Dla człowieka to potencjalne popełnienie zbrodni wojennej przez naruszenie przepisów dotyczących życia cywilów.
