Jakie tokeny lepiej przewidują modele hybrydowe? Badanie AllenAI porównuje Olmo Hybrid z transformerem

Zespół AllenAI opublikował szczegółowe badanie porównujące zachowanie modeli hybrydowych i transformerów na poziomie pojedynczych tokenów. Analiza dostępna na Hugging Face ujawnia, w jakich obszarach architektura hybrydowa Olmo Hybrid przewyższa tradycyjny transformer Olmo 3, a gdzie przegrywa.

Badacze z AllenAI przeprowadzili bezpośrednie porównanie swoich najsilniejszych modeli 7B — transformera Olmo 3 i hybrydowego Olmo Hybrid — analizując różnice w przewidywaniu poszczególnych typów tokenów w różnych rodzajach tekstu.

Kluczowe wnioski

• Model hybrydowy znacząco przewyższa transformer przy przewidywaniu słów niosących znaczenie (rzeczowniki, czasowniki, przymiotniki) z przewagą około 0,04.
• Transformery wciąż dominują przy tokenach powtarzających wcześniejsze fragmenty tekstu oraz przy zamykających nawiasach klamrowych w kodzie.
• Przewaga hybrydów jest najmniejsza przy słowach funkcyjnych jak „the”, „of”, „is” (gap około 0,02) w porównaniu do słów treściowych.
• Architektura hybrydowa lepiej radzi sobie z tokenami wymagającymi śledzenia kontekstu, jak odniesienia zaimków do wcześniejszych osób.
• Badanie potwierdza teoretyczne przewagi każdej architektury: transformer w bezpośrednim odwoływaniu, hybrid w przetwarzaniu sekwencyjnym.

Metodologia i porównanie architektur

Kluczem do wiarygodności badania było zapewnienie identycznych warunków dla obu modeli. Olmo 3 i Olmo Hybrid zostały zbudowane z użyciem tych samych danych treningowych, tokenizera i przepisu treningowego — jedyna różnica to architektura. Pozwoliło to na izolację wpływu samej struktury modelu na jakość przewidywań.

Model transformerowy wykorzystuje mechanizm uwagi we wszystkich warstwach, umożliwiając bezpośredni dostęp do każdego wcześniejszego tokenu jednocześnie. To sprawia, że transformer doskonale radzi sobie z przywoływaniem konkretnych tokenów, nawet z odległych fragmentów tekstu. Koszt obliczeniowy rośnie jednak gwałtownie wraz z długością wejścia.

Model hybrydowy zachowuje kilka warstw uwagi, ale zastępuje pozostałe warstwami rekurencyjnymi. Te ostatnie przetwarzają tokeny sekwencyjnie od lewej do prawej, utrzymując pamięć o stałym rozmiarze. Choć ta pamięć jest skompresowana i stratna, doskonale nadaje się do śledzenia informacji zmieniających się w czasie.

Szczegółowe wyniki dla różnych typów tokenów

W tekstach prozatorskich najwyraźniejszy podział występuje między słowami treściowymi a funkcyjnymi. Model hybrydowy osiąga szczególnie dużą przewagę przy przysłówkach i przymiotnikach, a także przy niektórych kategoriach słów funkcyjnych jak „there” w konstrukcjach egzystencjalnych.

Badacze przeanalizowali również zachowanie modeli przy różnych typach strukturalnych. Zamykające nawiasy klamrowe — w przeciwieństwie do otwierających — pokazały znikomą przewagę modelu hybrydowego. To potwierdza teoretyczne oczekiwania: mechanizm uwagi wystarczy do reprezentacji dopasowywania nawiasów.

Drugi obszar, gdzie przewaga hybrydów niemal znika, to tokeny powtarzające wcześniejsze fragmenty tekstu. Badacze identyfikowali takie przypadki poprzez wyszukiwanie powtarzających się n-gramów. Tu transformer wykorzystuje swoją siłę w bezpośrednim dostępie do wcześniejszych tokenów.

Wyniki potwierdzają teoretyczne przewagi każdej architektury: transformery dominują tam, gdzie potrzebne jest precyzyjne przywoływanie, podczas gdy modele hybrydowe przewyższają przy zadaniach wymagających sekwencyjnego przetwarzania i śledzenia kontekstu.