Przejdź do treści
4 min czytania

LRMoE: nowa metoda przyspiesza trening modeli MoE nawet o 45%

System LRMoE optymalizuje pamięć GPU podczas treningu modeli Mixture-of-Experts, skracając czas treningu nawet o 44,8% względem metody SYMI.

LRMoE: nowa metoda przyspiesza trening modeli MoE nawet o 45%

Źródło zdjęcia: arXiv.org

Badanie opublikowane 27 października 2026 roku przez zespół Jiaminga Hu, Zhidy Jianga, Zhaolonga Xinga, Yu Li, Zhena Chena i Ke Zhanga opisuje nowy system treningowy o nazwie LRMoE, który ma rozwiązać jeden z kluczowych problemów skalowania modeli typu Mixture-of-Experts (MoE) — nierównomierne obciążenie pamięci GPU podczas treningu na węzłach o ograniczonych zasobach. Autorzy twierdzą, że ich rozwiązanie skraca łączny czas treningu warstw MoE potrzebny do osiągnięcia zadanego poziomu strat (loss) nawet o 44,8 procent w porównaniu z istniejącą metodą SYMI.

Praca trafiła do działów Artificial Intelligence (cs.AI), Distributed, Parallel, and Cluster Computing (cs.DC) oraz Machine Learning (cs.LG) na arXiv i jest obecnie dostępna jako preprint w wersji v1.

Kluczowe wnioski

  • LRMoE to system treningowy świadomy ograniczeń pamięci, który jednocześnie rekalibruje zapotrzebowanie podczas propagacji wstecznej i równoważy zachowane obciążenie obliczeniowe.
  • System testowano na dwóch dużych modelach MoE: Qwen3–30B-A3B oraz GLM4.5–106B-A12B.
  • Wyniki pokazują redukcję czasu treningu warstw MoE do ustalonych celów stratowych o 21,2–44,8 procent względem metody SYMI.
  • Rozwiązanie łączy mechanizm przydziału retencji, metrykę rekalibracji obciążenia oraz algorytm routingu świadomy pojemności, wspierany przez fizyczną kompakcję danych.

Problem nierównomiernego routingu w modelach MoE

Rzadkie modele Mixture-of-Experts od lat uznawane są za sposób na skalowanie pojemności modeli AI bez proporcjonalnego wzrostu kosztów obliczeniowych na token – zamiast aktywować całą sieć, model kieruje każdy token tylko do wybranych „ekspertów”. Problem polega jednak na tym, że routing bywa nierównomierny: niektórzy eksperci otrzymują znacznie więcej tokenów niż inni, co tworzy wąskie gardła zarówno w obliczeniach, jak i w komunikacji między węzłami.

Dotychczasowe metody radzenia sobie z tym problemem – oparte na przemieszczaniu (placement) i replikacji ekspertów – redystrybuują obciążenie, ale mają istotną wadę opisaną wprost w abstrakcie badania: dodatkowe kopie ekspertów konkurują o ograniczoną pamięć GPU z buforami związanymi z tokenami. Innymi słowy, próba rozwiązania jednego problemu pamięciowego (nierównomiernego obciążenia) tworzy kolejny – niedobór pamięci na inne niezbędne struktury danych podczas treningu.

Jak działa LRMoE

Autorzy proponują podejście, które nazywają „demand-side load re-calibration”, czyli rekalibracją obciążenia od strony zapotrzebowania. System działa w dwóch głównych fazach treningu.

Podczas wykonania w przód (forward execution) LRMoE planuje kwoty retencji oraz rozmieszczenie ekspertów w ramach ograniczeń zasobowych, przy czym – co istotne – zachowuje wszystkie trasowane obliczenia. Oznacza to, że system nie odrzuca żadnych decyzji routingu podjętych przez model, a jedynie optymalizuje sposób ich fizycznej realizacji pod kątem dostępnej pamięci.

Podczas propagacji wstecznej (backpropagation) w grę wchodzi kluczowy element systemu: metryka rekalibracji obciążenia. Szacuje ona wkład każdej pary token-ekspert w aktualizację wag danego eksperta, a następnie wybiera pary mieszczące się w wyznaczonych wcześniej kwotach. Jest to podejście uwzględniające, które interakcje token-ekspert mają największe znaczenie dla procesu uczenia, zamiast traktować wszystkie pary jednakowo.

Następnie algorytm routingu świadomy pojemności (capacity-aware routing) rozdziela zachowane pary pomiędzy uprawnione instancje ich pierwotnych ekspertów. Na końcu procesu zachodzi fizyczna kompakcja danych, która formuje mniejsze ładunki komunikacyjne oraz operacje grupowego mnożenia macierzy (GEMM) o zmiennym rozmiarze. Efektem jest redukcja ruchu sieciowego w fazie propagacji wstecznej, zmniejszenie liczby obliczeń oraz obniżenie zapotrzebowania na bufory wykonawcze.

Wyniki eksperymentów i znaczenie dla treningu dużych modeli

Zespół przetestował LRMoE na dwóch znaczących architekturach: Qwen3–30B-A3B oraz GLM4.5–106B-A12B – oba to duże modele MoE reprezentujące różne skale aktywnych parametrów (odpowiednio 3B i 12B aktywnych parametrów na token przy znacznie większej całkowitej liczbie parametrów). Wybór tych dwóch modeli pozwolił autorom zweryfikować, czy zyski wydajnościowe utrzymują się niezależnie od skali architektury.

Kluczowy wynik badania to redukcja łącznego czasu treningu warstw MoE potrzebnego do osiągnięcia ustalonych celów stratowych (fixed-loss targets) o 21,2 do 44,8 procent w porównaniu do metody referencyjnej SYMI. Taki rozstrzał wyników sugeruje, że korzyści z LRMoE zależą od konkretnej architektury modelu i warunków eksperymentu, ale w każdym przypadku są wyraźne.

Dla organizacji i zespołów badawczych trenujących duże modele MoE na infrastrukturze z ograniczoną pamięcią GPU, praca ta ma praktyczne implikacje. Problem konkurencji o pamięć między replikacją ekspertów a buforami tokenów jest realnym ograniczeniem w skalowaniu treningu modeli rzadkich. Rozwiązanie, które pozwala zachować wszystkie trasowane obliczenia przy jednoczesnym ograniczeniu zużycia pamięci i ruchu komunikacyjnego, może przełożyć się na niższe koszty treningu i krótszy czas potrzebny do osiągnięcia docelowej jakości modelu – co ma bezpośrednie znaczenie ekonomiczne przy trenowaniu modeli liczących dziesiątki czy nawet ponad sto miliardów parametrów.

Podsumowanie

LRMoE proponuje konkretne, techniczne rozwiązanie problemu konkurencji o pamięć GPU w treningu modeli Mixture-of-Experts, łącząc planowanie retencji, inteligentną rekalibrację obciążenia podczas propagacji wstecznej oraz fizyczną kompakcję danych. Zademonstrowane na Qwen3–30B-A3B i GLM4.5–106B-A12B wyniki – przyspieszenie treningu o 21,2–44,8 procent względem SYMI – wskazują na realny potencjał tego podejścia w praktycznym skalowaniu dużych modeli językowych.

Udostępnij

Źródła

Powrót do nawigacji