1 artykuł z tym tagiem
Attention-Aware Routing łączy routing i uwagę w modelach MoE, poprawiając wynik GSM8K o 3,37 pp na modelu OLMoE.