OriginBlame: system precyzyjnego śledzenia pochodzenia danych w treningu AI

Naukowcy opracowali system OriginBlame, który rozwiązuje kluczowy problem sztucznej inteligencji — precyzyjną identyfikację danych pochodzących od konkretnych autorów w zbiorach treningowych. Badanie zostało opublikowane w arXiv przez Haolina Xue i dotyczy jednego z największych wyzwań współczesnego AI: jak skutecznie usuwać dane konkretnego użytkownika z już wytrenowanych modeli.

Problem polega na tym, że gdy autor żąda usunięcia swoich danych, twórcy modeli stają przed praktyczną luką: algorytmy „zapominania” wymagają precyzyjnego wskazania, które fragmenty należy usunąć, ale dotychczas nie istniało narzędzie mogące zlokalizować dokładnie te dane w ogromnych zbiorach treningowych.

Kluczowe wnioski

• System OriginBlame śledzi pochodzenie danych na poziomie pojedynczych rekordów i tokenów, eliminując konieczność usuwania całych zbiorów danych.
• Testy na 219 555 stronach Wikipedii pokazały redukcję nadmiernego usuwania danych ze 101-krotnego do zaledwie 1,3-krotnego.
• Integracja systemu zwiększa obciążenie przetwarzania o 1,3–4,0% w HuggingFace i 2,1–19,0% w Datatrove.
• Na modelu 1,7B parametrów system poprawił skuteczność „zapominania” o 42% w porównaniu do losowych metod bazowych.

Problem nadmiernego usuwania danych

Dotychczasowe systemy proweniencji działają na poziomie plików lub całych zbiorów danych, co prowadzi do katastrofalnego „nad-usuwania”. Gdy autor żąda usunięcia swoich treści, systemy są zmuszone usunąć znacznie więcej danych niż faktycznie należące do danej osoby. To nie tylko marnotrawstwo zasobów, ale może też znacząco pogorszyć jakość modelu.

OriginBlame wprowadza śledzenie na znacznie bardziej granularnym poziomie. System propaguje tożsamość autora przez całe pipeline'y przetwarzania danych i może precyzyjnie odpowiedzieć na zapytania o usunięcie poprzez deterministyczne kwerendy. Dzięki temu możliwe jest utworzenie dokładnych „zestawów do zapomnienia” zawierających wyłącznie dane konkretnego autora.

Wyniki testów i wydajność

Badanie przeprowadzono na rzeczywistych danych z Wikipedii, analizując ponad 219 tysięcy stron. Rezultaty pokazują dramatyczną poprawę precyzji: podczas gdy tradycyjne metody wymagały usunięcia 101 razy więcej danych niż faktycznie należących do autora, OriginBlame ogranicza ten współczynnik do zaledwie 1,3.

Koszty implementacji pozostają na akceptowalnym poziomie. System zwiększa obciążenie przetwarzania w różnym stopniu w zależności od platformy: od 1,3% do 4% w przypadku HuggingFace i od 2,1% do 19% dla Datatrove. Te niewielkie koszty wydajnościowe są więcej niż zrekompensowane przez precyzyjność systemu.

Testy na modelu językowym o 1,7 miliarda parametrów potwierdziły praktyczną wartość rozwiązania. Zestawy do zapomnienia utworzone przez OriginBlame poprawiły skuteczność algorytmów unlearning o 42% w porównaniu do losowych metod bazowych, co oznacza znacznie lepsze usuwanie niepożądanych informacji przy zachowaniu ogólnej funkcjonalności modelu.

System OriginBlame może stać się kluczowym narzędziem w erze rosnących wymagań dotyczących prywatności danych i „prawa do bycia zapomnianym” w sztucznej inteligencji.