Google Deepmind testuje kryptograficzną metodę oceny modeli AI

Google DeepMind ogłosił uruchomienie pierwszej w swoim rodzaju „podwójnie ślepej” ewaluacji modelu AI klasy frontier. Wspólnie z Singapore AI Safety Institute i innymi partnerami firma testuje model z rodziny Gemini Flash Lite wobec poufnych benchmarków, wykorzystując metodę kryptograficzną, która ma zapobiec sytuacji, w której model „widzi” pytania testowe zanim zostanie oceniony.

Problem, który Google chce rozwiązać, brzmi znajomo dla każdego, kto śledzi debatę o wiarygodności benchmarków AI: jeśli model miał kontakt z pytaniami testowymi już w trakcie treningu, jego wynik przestaje być wiarygodnym miernikiem realnych zdolności. Deepmind porównuje to do sytuacji, w której zdający egzamin znał pytania z wyprzedzeniem – nawet perfekcyjny wynik jest wtedy bezwartościowy.

Kluczowe wnioski

• Google Deepmind rozpoczął pierwszą podwójnie ślepą ewaluację własnego modelu frontier AI, testując model z linii Gemini Flash Lite.
• Metoda wykorzystuje Confidential Space z portfolio confidential computing Google Cloud – ewaluator nigdy nie widzi wag modelu Gemini, a Google nigdy nie widzi treści testowych pytań.
• Pilotaż realizowany jest wspólnie z Singapore AI Safety Institute i innymi partnerami.
• Rozwiązanie ma eliminować dotychczasowy dylemat: albo ewaluator udostępnia pytania (ryzyko kontaminacji benchmarku), albo dostawca modelu udostępnia wagi (ryzyko utraty własności intelektualnej).
• Google publikuje szczegóły metodologii i wyników w technicznym raporcie, licząc, że podejście stanie się nowym standardem w nadzorze nad modelami.

Dylemat, który miała rozwiązać kryptografia

Do tej pory wyjątkowo wrażliwe ewaluacje zewnętrzne wymagały kompromisu, twierdzi Deepmind. Ewaluatorzy albo przekazywali swoje prompty testowe dostawcy modelu – co pozwalało modelowi zobaczyć pytania z wyprzedzeniem – albo dostawca przekazywał wagi modelu, ryzykując utratę własności intelektualnej. Przykładem tego dylematu, przywołanym przez Google, jest opóźniona ewaluacja modelu Fable 5 od Anthropic w benchmarku ARC-AGI, do której doszło, ponieważ firma stosuje 30-dniową politykę retencji danych dla swoich najsilniejszych modeli.

Podwójnie ślepa ewaluacja ma znieść ten kompromis. Google wykorzystuje do tego Confidential Space – element portfolio confidential computing Google Cloud. Konfiguracja kryptograficznie weryfikuje, że dane testowe i model pozostają prywatne dla swoich właścicieli. Ewaluator nie widzi wag Gemini, a Google nie widzi promptów testowych. Do teraz poufność zewnętrznych promptów zapewniały protokoły zerowego logowania i zabezpieczenia kontraktowe – dodanie technicznej i kryptograficznej ochrony to, zdaniem firmy, duży krok w bezpiecznej ewaluacji modeli.

Problem kontaminacji benchmarków nie jest zresztą odosobniony – wcześniej pisaliśmy o ESQ-Bench, nowym benchmarku ujawniającym słabości modeli NL2SQL, oraz o formacie RENDER, w którym sposób prezentacji danych pamięci LLM zmienia wyniki testów o dziesiątki punktów – co dodatkowo podkreśla, jak wiele czynników metodologicznych wpływa na to, czy wynik benchmarku faktycznie odzwierciedla rzeczywiste zdolności modelu.

Dlaczego to szczególnie ważne w wrażliwych obszarach

Kryptograficzny dowód poufności ma zapobiegać kontaminacji i chronić czułe dane jednocześnie. Deepmind podkreśla, że metoda ma największe znaczenie dla najbardziej wrażliwych ewaluacji – takich jak testy z obszaru cyberbezpieczeństwa czy oceny prowadzone przez agencje rządowe. Niezależne organizacje mogłyby rygorystycznie testować zaawansowane modele bez konieczności rezygnowania z suwerenności danych czy bezpieczeństwa informacji.

Google liczy, że inicjatywa ustanowi nowy standard nadzoru nad modelami i pomoże branży budować systemy AI, które są bardziej wiarygodne i szerzej akceptowane. Szczegóły metodologii i wyniki pilotażu firma zawarła w opublikowanym raporcie technicznym.

Znaczenie dla branży AI

Sposób, w jaki mierzy się i porównuje modele AI, ma coraz większe znaczenie – benchmarki decydują o tym, które modele uznaje się za liderów rynku, jakie umowy inwestycyjne są zawierane i jak agencje rządowe oceniają bezpieczeństwo systemów przed ich wdrożeniem. Jeśli metoda podwójnie ślepej ewaluacji się przyjmie, może stać się szczególnie istotna dla instytucji publicznych i sektorów regulowanych, gdzie zaufanie do wyników testów – a nie tylko sam wynik – decyduje o dopuszczeniu modelu do zastosowania.

Pilotaż z udziałem Singapore AI Safety Institute pokazuje też, że temat wiarygodności benchmarków wykracza poza relacje komercyjne między firmami – dotyczy również współpracy międzynarodowej w zakresie bezpieczeństwa AI, gdzie niezależna, poufna weryfikacja modeli frontier staje się elementem szerszej infrastruktury nadzoru nad rozwojem sztucznej inteligencji.

Podsumowując: Google Deepmind proponuje techniczne rozwiązanie dla jednego z najbardziej dyskutowanych problemów oceny modeli AI – kontaminacji benchmarków – łącząc kryptografię z pilotażową współpracą instytucjonalną, co może wpłynąć na standardy ewaluacji w całej branży.