Dlaczego AI Google'a nie potrafi literować słowa Google (ani żadnego innego)

Sztuczna inteligencja Google'a ma problem z podstawową umiejętnością — nie potrafi poprawnie literować. Nowe AI Overviews w wyszukiwarce twierdzą, że w słowie „Google” są dwa „P”, a nazwisko prezydenta USA zapisują jako „t-r-p-u-m”. To kolejny przykład problemów z funkcjami AI, które Google wprowadza do swojej flagowej wyszukiwarki, jak informuje TechCrunch.

Problem nie ogranicza się tylko do błędów ortograficznych. AI Overview Google'a twierdzi również, że w słowie „poop” jest dokładnie jedna litera „r”, a w słowie „journalism” są dwa „d”, zapisując je jako „j-o-u-r-n-a-d-i-s-m”. To kolejna wpadka po tym, jak funkcja wcześniej cytowała satyryczne posty z The Onion i Reddit, doradzając ludziom jedzenie kamieni i dodawanie kleju do pizzy.

Kluczowe wnioski

• AI Overview Google'a nie potrafi poprawnie liczyć liter w słowach — twierdzi, że „Google” ma dwa „P”, a „poop” jedną literę „r”.
• Problem wynika z architektury transformerów, które przetwarzają tekst na tokeny, a nie na pojedyncze litery jak ludzie.
• Google przyznaje, że „liczenie w słowach to znany problem dla dużych modeli językowych” i pracuje nad naprawą.
• Badacze są sceptyczni co do możliwości rozwiązania tego problemu ze względu na fundamentalne ograniczenia tokenizacji.
• Błędy przypominają, że AI nie jest doskonałe i nie można ślepo ufać jego odpowiedziom bez weryfikacji.

Dlaczego AI nie potrafi literować

Jak wyjaśnia Matthew Guzdial, badacz AI i profesor nadzwyczajny na Uniwersytecie Alberty, duże modele językowe nie „czytają” tekstu tak jak ludzie. Gdy wprowadzamy prompt, jest on tłumaczony na kodowanie numeryczne.

„Gdy AI widzi słowo 'the', ma jedno kodowanie tego, co oznacza 'the', ale nie wie o literach 'T', 'H', 'E'” — tłumaczy Guzdial.

Modele LLM oparte na architekturze transformerów dzielą tekst na tokeny, które mogą być całymi słowami, sylabami lub literami, w zależności od modelu. Zamiast czytać jak człowiek, AI przekształca tekst w reprezentacje numeryczne, które są następnie kontekstualizowane, aby pomóc AI wypracować logiczną odpowiedź.

Czy problem można rozwiązać?

Sheridan Feucht, doktorantka badająca interpretowalność dużych modeli językowych na Northeastern University, jest sceptyczna co do możliwości rozwiązania tego problemu. Jak tłumaczy, trudno jest określić, czym dokładnie powinno być „słowo” dla modelu językowego.

„Nawet gdybyśmy poprosili ekspertów o uzgodnienie idealnego słownika tokenów, modele prawdopodobnie nadal uznałyby za przydatne dalsze 'dzielenie' rzeczy” — mówi Feucht.

Google już naprawił jeden z problemów z zeszłego tygodnia, gdy wyszukiwanie słowa „disregard” wyświetlało pozorną definicję słownikową, która brzmiała: „Zrozumiano. Daj mi znać, gdy będziesz mieć nowy prompt lub pytanie!”. Jednak błędy ortograficzne pozostają trudne do wyeliminowania ze względu na fundamentalne ograniczenia architektury tokenowej.

Choć to nie jest pilny problem dla badaczy — użyteczność LLM nie polega na ich zdolności do literowania — te oczywiste błędy przypominają nam, że AI nie jest doskonałe. Nie możemy ślepo ufać wynikom AI bez sprawdzenia ich dokładności.