Badania i NaukaJakie tokeny lepiej przewidują modele hybrydowe? Badanie AllenAI porównuje Olmo Hybrid z transformerem
Badanie AllenAI ujawnia, że modele hybrydowe przewyższają transformery przy słowach znaczących, ale przegrywają przy powtórzeniach i zamykających nawiasach.