Przejdź do treści
4 min czytania

Open ASR Leaderboard: egipski i nigeryjski angielski w rankingu

Open ASR Leaderboard od Hugging Face dodaje prywatne nagrania od Liva AI z egipskim i nigeryjskim angielskim oraz nowy podział akcentów według modelu Kachru.

Open ASR Leaderboard: egipski i nigeryjski angielski w rankingu

Źródło zdjęcia: huggingface.co

Open ASR Leaderboard, otwarty ranking modeli automatycznego rozpoznawania mowy (ASR) rozwijany na platformie Hugging Face, poszerza zestaw testowanych akcentów. We współpracy z firmą Liva AI do prywatnej części rankingu trafiły nagrania angielszczyzny z akcentem egipskim i nigeryjskim. Zmianę ogłoszono 6 listopada 2026 roku na blogu Hugging Face we wpisie Erica Bezzama, Ashley Mo i Aoi Otani.

Organizatorzy wprowadzają też nowy sposób prezentowania wyników. Modele można teraz porównywać według grup akcentów opartych na modelu trzech kręgów Kachru. Projekt ma jednocześnie lepiej odzwierciedlać różnorodność mówionego angielskiego i utrudniać „podkręcanie” wyników pod znane zestawy testowe.

Najważniejsze informacje

  • Do Open ASR Leaderboard dołączyły dwa nowe prywatne zbiory od Liva AI: Liva AI Conversational EG (akcent egipski, 1,34 godziny) i Liva AI Conversational NG (akcent nigeryjski, 1,55 godziny).
  • Oba zbiory zawierają spontaniczną mowę konwersacyjną. Transkrypcje mają interpunkcję, wielkie litery i zachowane zjawiska niepłynności mowy (disfluencies).
  • Zakładka prywatna pokazuje teraz wyniki w dwóch podziałach: USA kontra reszta świata oraz Krąg Wewnętrzny kontra Krąg Zewnętrzny i Rozszerzający się.
  • Celem jest lepsza reprezentacja akcentów i języków oraz ograniczenie zjawiska „benchmaxxingu” dzięki nowym, niepublicznym danym od nowych dostawców.

Od 11 prywatnych zbiorów do kolejnych akcentów

Rozszerzenie rankingu jest kolejnym etapem procesu, który zaczął się kilka miesięcy temu. Wtedy do Open ASR Leaderboard dodano pierwsze prywatne dane: 11 podzbiorów od firm Appen i DataOceanAI. Obejmowały one mowę czytaną z przygotowanego tekstu oraz mowę konwersacyjną w pięciu akcentach.

Według autorów wpisu społeczność przyjęła tę zmianę bardzo dobrze. Wiele osób podkreślało znaczenie tzw. zbiorów wydzielonych (held-out sets) dla wiarygodnej ewaluacji. Takie dane nie są publicznie dostępne, więc twórcy modeli nie mogą dopasować do nich swoich systemów. Wyniki na nich lepiej pokazują rzeczywiste możliwości modelu, a nie umiejętność radzenia sobie z dobrze znanym testem.

Później dodano jeszcze jeden prywatny podzbiór, tym razem z angielszczyzną z akcentem indyjskim, przygotowany we współpracy z Voice Arena. Po obecnej aktualizacji prywatna część rankingu liczy więc 14 podzbiorów. Nowe nagrania od Liva AI to łącznie niespełna trzy godziny materiału.

Organizatorzy wpisują tę zmianę w szerszy cel: chcą poprawić reprezentację w ewaluacji ASR, czyli dodawać więcej akcentów i języków, oraz zwiększyć zaufanie do wyników. Na tę drugą część składają się nowe prywatne dane, które mają minimalizować benchmaxxing, czyli optymalizowanie modeli pod konkretne benchmarki, a także nowi dostawcy danych. Na blogu Hugging Face ukazał się wcześniej, 28 sierpnia 2026 roku, wpis o dodaniu do rankingu pierwszego języka z Globalnego Południa. Pod koniec września opublikowano też materiał o bliźniaczym projekcie, Open TTS Leaderboard, który ocenia wielojęzyczną syntezę mowy i klonowanie głosu. Ranking syntezy mowy pojawiał się już w naszych tekstach, m.in. przy okazji modelu Phonon TTS, który znalazł się w czołówce rankingu Hugging Face.

Akcenty pogrupowane według trzech kręgów Kachru

Dzięki nowym akcentom zakładka „Private” pokazuje wyniki w bardziej szczegółowym podziale. Autorzy oparli go na modelu trzech kręgów Kachru. Pomysł zaczerpnęli z rankingu firmy Hume AI, której dziękują za inspirację. Ranking będzie teraz raportować wyniki w dwóch zestawieniach:

  • USA kontra akcenty spoza USA: Wielka Brytania, Australia, Kanada, Indie, Nigeria, Egipt.
  • Krąg Wewnętrzny (USA, Wielka Brytania, Australia, Kanada) kontra Krąg Zewnętrzny i Rozszerzający się (Indie, Nigeria, Egipt).

Na razie dwa ostatnie kręgi są raportowane łącznie. Organizatorzy zapowiadają, że rozdzielą je, gdy do rankingu dołączy więcej akcentów.

Taki podział ma praktyczne znaczenie. Pojedyncza, uśredniona miara jakości transkrypcji może ukrywać to, że model świetnie radzi sobie z amerykańską angielszczyzną, a znacznie gorzej z odmianami używanymi w innych częściach świata. Zestawienie grup akcentów obok siebie pozwala dostrzec takie różnice.

Kim jest Liva AI

Liva AI, nowy partner rankingu, zbiera multimodalne dane z interakcji za pośrednictwem produktów konsumenckich, z których korzystają prawdziwi ludzie. Firma kontroluje zarówno środowisko, w którym dane są zbierane, jak i dystrybucję tych produktów. Dzięki temu może projektować je pod konkretne luki w modelach: w różnych dziedzinach, branżach, językach, modalnościach i typach interakcji.

Według opisu we wpisie daje to Liva AI dostęp do naturalnych zachowań osadzonych w bogatym kontekście, które pojawiają się podczas rzeczywistego korzystania z produktów. To coś innego niż interakcje wywołane sztucznie albo nagrywane w ramach z góry zadanych zadań. Pasuje to do charakteru nowych zbiorów, które zawierają mowę spontaniczną, a nie odczytywaną z kartki.

Podsumowanie

Dodanie egipskiej i nigeryjskiej angielszczyzny to niewielka objętościowo, ale wyraźna zmiana: prywatnych danych przybywa, a wyniki można analizować według grup akcentów. Organizatorzy Open ASR Leaderboard zapowiadają dalsze poszerzanie rankingu o kolejne akcenty i języki.

Udostępnij
Powrót do nawigacji