PACE: nowy framework neuro-symboliczny dla wiarygodnych wyjaśnień AI

Naukowcy z międzynarodowego zespołu badawczego opracowali PACE — innowacyjny framework neuro-symboliczny do generowania wiarygodnych i wykonalnych wyjaśnień kontrfaktycznych w sztucznej inteligencji. Badanie zostało opublikowane na arXiv i przedstawia rozwiązanie jednego z kluczowych problemów w obszarze explainable AI.

Kluczowe wnioski

• PACE łączy modele neuronowe z symbolicznym rozumowaniem, tworząc wyjaśnienia zgodne z rzeczywistymi ograniczeniami domenowymi.
• Framework składa się z dwóch komponentów: neuronowego modelu predykcyjnego do klasyfikacji oraz symbolicznej warstwy rozumowania egzekwującej ograniczenia specyficzne dla domeny.
• Badanie na zbiorze danych Adult Income wykazało trade-off między trafnością wyjaśnień kontrfaktycznych a ich wiarygodnością.
• Ograniczenia symboliczne generują wyjaśnienia lepiej spełniające wymagania wykonalności specyficzne dla domeny.
• Podejście jest model-agnostic i adaptowalne do różnych dziedzin wymagających realistycznego wsparcia decyzyjnego.

Problem istniejących rozwiązań

Wyjaśnienia kontrfaktyczne stanowią kluczowy element zrozumiałej sztucznej inteligencji, identyfikując minimalne zmiany w danych wejściowych, które zmieniłyby decyzję modelu. Jednak istniejące metody często generują nierealistyczne lub niewykonalne rekomendacje z powodu braku jawnych mechanizmów uwzględniających wiedzę domenową i ograniczenia interwencyjne.

Autorzy badania — Pavel Iakovets, Liyanapathiranage Sudeepika Wajirakumari Samarathunga, Martin Thomas Horsch i Fadi Al Machot — zidentyfikowali lukę w obecnie dostępnych rozwiązaniach. Chociaż wiele metod skutecznie generuje alternatywy zmieniające predykcje, często produkują one zalecenia oderwane od rzeczywistości.

Architektura framework PACE

PACE (Plausible and Actionable Counterfactual Explanations) to modułowy framework neuro-symboliczny, który rozdziela predykcję i rozumowanie na dwa komponenty. Pierwszy element to neuronowy model predykcyjny odpowiedzialny za klasyfikację. Drugi to symboliczna warstwa rozumowania, która egzekwuje ograniczenia specyficzne dla domeny podczas generowania wyjaśnień kontrfaktycznych.

Poprzez jawne modelowanie wykonalnych interwencji, framework produkuje wyjaśnienia zgodne z wiedzą domenową, pozostając jednocześnie interpretowalnym i działaniowym. Podejście jest niezależne od modelu i może być dostosowane do różnych dziedzin wymagających realistycznego wsparcia decyzyjnego.

Studium przypadku i wyniki

Zespół przeprowadził studium przypadku na zbiorze danych Adult Income, łącząc klasyfikator wielowarstwowy perceptron z regułami Answer Set Programming (ASP) kodującymi wykonalne modyfikacje edukacji, zawodu i godzin pracy przy zachowaniu niezmiennych atrybutów.

Wyniki podkreśliły istotny trade-off między trafnością wyjaśnień kontrfaktycznych a ich wiarygodnością. Badanie wykazało, że ograniczenia symboliczne generują wyjaśnienia lepiej spełniające wymagania wykonalności specyficzne dla domeny, ilustrując potencjał metod neuro-symbolicznych dla przezroczystych, świadomych wykonalności wyjaśnień kontrfaktycznych w explainable AI.

Badanie demonstruje obiecujący kierunek rozwoju neuro-symbolicznej sztucznej inteligencji, łączącej predykcyjne modele oparte na danych z symbolicznym rozumowaniem zdolnym do reprezentowania zrozumiałych dla człowieka reguł i wykonalnych działań.