Przejdź do treści
6 min czytania

HOPE od Amazon: przycinanie ekspertów MoE z uwzględnieniem współpracy

Metoda HOPE od badaczy Amazon przycina ekspertów w modelach MoE, uwzględniając ich współpracę. Przy 50% przycięciu wyraźnie wyprzedza REAP na SWE-Bench Pro.

HOPE od Amazon: przycinanie ekspertów MoE z uwzględnieniem współpracy

Źródło zdjęcia: huggingface.co

Badacze Amazon opisali nową metodę zmniejszania modeli językowych typu Mixture-of-Experts (MoE). Przy wyborze ekspertów do usunięcia bierze ona pod uwagę nie tylko znaczenie każdego z nich z osobna, ale także to, jak współpracują w parach. Technika nazywa się HOPE (Higher-Order Pruning of Experts). Autorzy, Alex M Tseng i Luca Zancato, przedstawili ją we wpisie na blogu Hugging Face opublikowanym 9 listopada 2026 roku.

Według autorów przy usunięciu połowy ekspertów HOPE osiąga najlepszą średnią pozycję w rankingu spośród testowanych metod. W zadaniach agentowego programowania daje do 6,1% przewagi nad drugą najlepszą metodą przycinania.

Najważniejsze informacje

  • Problem pamięci w MoE: w Qwen3.5–122B eksperci MLP zajmują 95% z około 250 GB pamięci parametrów, choć dla każdego tokena w danej warstwie aktywnych jest tylko 8 z 256 ekspertów.
  • Metoda drugiego rzędu: dotychczasowe techniki oceniają każdego eksperta niezależnie. HOPE uwzględnia interakcje między parami ekspertów, które często aktywują się razem.
  • Wyniki: we wszystkich warunkach testowych HOPE uzyskał najlepszą średnią pozycję (2,07 na 5 metod). Przy 50-procentowym przycięciu wynik poprawił się do 1,58, wobec 2,42 dla REAP.
  • SWE-Bench Pro: model Qwen3.5–35B-A3B przycięty o 50% metodą HOPE uzyskał 42,3 pkt, czyli tyle co nieprzycięty model (41,8). Po przycięciu metodą REAP wynik spadł do 36,2.
  • Niski koszt: HOPE wymaga takiego samego przebiegu kalibracyjnego jak inne metody. Dodatkowo trzeba rozwiązać problem programowania kwadratowego, co zajmuje 1–2 sekundy na warstwę.

Dlaczego modele MoE zajmują tyle pamięci

Architektura MoE pozwoliła skalować czołowe modele językowe do setek miliardów parametrów. Ma jednak kosztowną wadę: podczas inferencji w pamięci muszą znajdować się wszystkie eksperci, chociaż przy przetwarzaniu konkretnego tokena większość z nich nic nie robi. Autorzy ilustrują to na przykładzie Qwen3.5–122B. Model ma 48 warstw MoE po 256 ekspertów, a dla każdego tokena w każdej warstwie wykorzystywanych jest tylko 8.

Najprostszym sposobem na ten problem jest przycinanie ekspertów (expert pruning), czyli trwałe usunięcie tych najmniej przydatnych. Autorzy wymieniają jego zalety:

  • nie powoduje opóźnień, przez które dynamiczne ładowanie i wyładowywanie ekspertów jest niepraktyczne,
  • nie wymaga żadnego treningu,
  • można je łączyć z kwantyzacją.

Najtrudniej jest zdecydować, których ekspertów można usunąć najbezpieczniej. Dotychczasowe metody na podstawie zbioru kalibracyjnego przypisują każdemu ekspertowi jedną liczbę oznaczającą jego ważność. Następnie w każdej warstwie osobno usuwają tych o najniższej ocenie. Autorzy nazywają je metodami pierwszego rzędu, bo zakładają, że wkład każdego eksperta nie zależy od pozostałych.

Eksperci pracują w grupach

W typowej warstwie MoE każdy token trafia do K ekspertów (często K = 8). Router oblicza wagi bramkujące znormalizowane funkcją softmax i wybiera ekspertów z najwyższymi wagami. Wyjście warstwy to suma wyjść wybranych ekspertów ważonych tymi wagami.

Wybrani eksperci nie działają jednak niezależnie. Według autorów tworzą stabilne grupy, które konsekwentnie aktywują się razem. Obserwowali to we własnych eksperymentach, a wcześniejsze prace wykazały, że wzorce współwyboru ekspertów pojawiają się na wczesnym etapie treningu, potem się stabilizują i mają znaczenie dla jakości modelu.

Autorzy pokazują konsekwencje na przykładzie. Usunięcie eksperta A może wyglądać na nieszkodliwe. Jeśli jednak ekspert B, który często z nim współpracuje i na nim polega, jest bardzo ważny, to jedno usunięcie rozbija całą współpracującą grupę. Metody pierwszego rzędu tego nie zauważą, bo oceniają A i B osobno. Efekt narasta przy agresywnym przycinaniu: im więcej ekspertów znika (do 50%), tym więcej powiązań zostaje zerwanych.

Jak HOPE wybiera ekspertów do usunięcia

Gdy z warstwy usuwa się zestaw ekspertów, zmienia się zbiór ekspertów wybieranych dla tokena. Ich miejsce zajmują eksperci z kolejnymi najwyższymi wagami. Różnica w wyjściu warstwy to błąd przycinania, a celem jest znalezienie takiego zestawu do usunięcia (o z góry ustalonym rozmiarze), który ten błąd minimalizuje na danych kalibracyjnych.

Bezpośrednia minimalizacja jest obliczeniowo niewykonalna. Błąd zależy od tego, którzy eksperci zastąpią usuniętych, a to z kolei zależy od samego zestawu do usunięcia. HOPE omija ten problem za pomocą zastępczej funkcji celu Z. Jest to kwadrat sumy iloczynów wag bramkujących i norm wyjść usuniętych ekspertów, którzy byliby aktywni. Funkcja ta ściśle ogranicza od góry dominującą składową prawdziwego błędu.

Ponieważ Z jest kwadratem sumy, po jej rozwinięciu pojawiają się wyrazy mieszane dla par ekspertów. To właśnie te składniki interakcji metody pierwszego rzędu pomijają. Minimalizacja wartości oczekiwanej Z na zbiorze kalibracyjnym sprowadza się do problemu programowania kwadratowego ze zmiennymi binarnymi. Jego centralnym elementem jest macierz F o wymiarach E×E, gdzie E to liczba ekspertów w warstwie:

  • przekątna macierzy mierzy indywidualną ważność każdego eksperta,
  • elementy poza przekątną mierzą wkład pary ekspertów we współpracę, uśredniony po tokenach, przy których oba są aktywne.

Problem jest niewypukły. Autorzy rozwiązują go standardowym solwerem po zastosowaniu relaksacji ciągłej, a wynik zaokrąglają do rozwiązania binarnego. Zajmuje to 1–2 sekundy na warstwę. Pozostała część procedury to jeden przebieg w przód na danych kalibracyjnych, tak jak w innych metodach, więc dodatkowy narzut jest według autorów pomijalny.

Wizualizacja macierzy F dla modelu GLM-4.5-Air (128 ekspertów w warstwie, łącznie 106 mld parametrów) w trzech warstwach, wczesnej, środkowej i późnej, pokazuje wyraźną strukturę blokową. Jasne bloki wzdłuż przekątnej to grupy ekspertów o silnych interakcjach. Struktura ta różni się w zależności od warstwy.

Związek z REAP

Autorzy porównują HOPE z REAP (Router-weighted Expert Activation Pruning), nowoczesną metodą pierwszego rzędu. Przekątna macierzy F niemal dokładnie odtwarza oceny, według których REAP szereguje ekspertów. Różnią się one jedynie wariancją wkładów ekspertów, a korelacja rang Spearmana wynosi ρ = 0,988. Dlatego cała przewaga HOPE nad REAP wynika z wyrazów drugiego rzędu, czyli elementów macierzy F leżących poza przekątną.

Wyniki: największa przewaga przy agresywnym przycinaniu

HOPE przetestowano na trzech modelach: Qwen3.5–122B, Qwen3.5–35B i GLM-4.5-Air. Do kalibracji użyto dwóch zbiorów danych: Evol-CodeAlpaca oraz trajektorii z SWE-Bench Verified. Przycięte modele oceniano na zestawie Tulu3 i benchmarku SWE-Bench Pro. HOPE porównano z czterema metodami pierwszego rzędu (REAP, MAN, EAN i Frequency) przy przycinaniu od 10% do 50% ekspertów. Wcześniej opisywaliśmy też metodę LRMoE przyspieszającą trening modeli MoE, która dotyczy innego etapu cyklu życia tych modeli.

We wszystkich warunkach łącznie HOPE uzyskał najlepszą średnią pozycję, 2,07 na 5 metod. Zajął pierwsze miejsce w 39% przypadków, a miejsce w pierwszej dwójce w 67%. W bezpośrednich porównaniach pokonał każdą metodę bazową w większości warunków.

Zgodnie z oczekiwaniami autorów przewaga HOPE rośnie wraz ze stopniem przycięcia. Przy 50% jego średnia pozycja to 1,58, a drugiej w kolejności metody REAP 2,42. Autorzy podkreślają, że to ustawienie jest najważniejsze z punktu widzenia wdrożeń. Oszczędność pamięci jest wtedy na tyle duża, że pozwala na dłuższy kontekst, głębsze rozumowanie i więcej wywołań narzędzi.

Najwyraźniejsza różnica pojawiła się na SWE-Bench Pro, benchmarku agentowego programowania, w którym model samodzielnie rozwiązuje rzeczywiste zgłoszenia z GitHuba. Zadania łączą pisanie kodu, wywoływanie narzędzi i rozumowanie w wielu turach. Według autorów prawdopodobnie angażują więc różne kombinacje ekspertów, a to sytuacja, w której zachowanie struktury współpracy ma największe znaczenie. Wyniki dla Qwen3.5–35B-A3B przyciętego o 50%:

  • HOPE: 42,3 pkt,
  • model nieprzycięty: 41,8 pkt,
  • REAP: 36,2 pkt, czyli spadek o 13%.

Przycięte modele czasem dorównują nieprzyciętemu lub go przewyższają. Autorzy tłumaczą to tym, że usunięcie mało istotnych ekspertów zmniejsza szum w zadaniach docelowych. Zaznaczają, że zjawisko to obserwowano przy różnych metodach przycinania, nie tylko przy HOPE. Kalibracja na danych programistycznych, niezależnie od metody, nie pogorszyła też znacząco wyników w zadaniach niezwiązanych z kodem. HOPE dobrze radził sobie na zestawie Tulu3 bez względu na użyty zbiór kalibracyjny.

Autorzy przeanalizowali też ekspertów, co do których HOPE i REAP podjęły różne decyzje. Dla każdego z nich obliczyli wskaźnik współpracy oparty na wartościach macierzy F względem zachowanych ekspertów. Z ich analizy wynika, że HOPE zachowuje więcej ekspertów silnie współpracujących z resztą modelu. We wpisie zapowiadają także instrukcję zastosowania metody do własnych modeli.

Podsumowanie

HOPE przenosi przycinanie ekspertów z oceny pojedynczych ekspertów na ocenę ich par. Jego przewaga najmocniej widać tam, gdzie oszczędność pamięci jest największa: przy usunięciu połowy ekspertów i w złożonych zadaniach agentowych. Dodatkowy koszt obliczeniowy jest przy tym niemal zerowy.

Udostępnij
Powrót do nawigacji