Phonon TTS: mała synteza mowy offline w czołówce rankingu Hugging Face
Phonon TTS od Gradium działa w pełni na urządzeniu, waży ok. 65–75 MB, mówi w pięciu językach i prowadzi w Open TTS Leaderboard. Sprawdzamy licencje i wyniki.
Źródło zdjęcia: huggingface.co
Firma Gradium opisała na blogu Hugging Face kulisy premiery Phonon – małego modelu zamiany tekstu na mowę (TTS), który działa w całości na urządzeniu użytkownika, jak relacjonują autorzy w tekście „A Closer Look at Phonon TTS”. Model nie potrzebuje serwera ani połączenia z siecią, a wpisywany tekst nie opuszcza urządzenia. Phonon udostępniono dwa tygodnie temu. W tym czasie pobrano go ponad 200 tys. razy i trafił do czołówki nowego rankingu Open TTS Leaderboard.
Autorzy, w tym Olesia Krizhevich i Laurent Mazare z Gradium, wyjaśniają, po co powstał Phonon, co potrafi, jakie dema towarzyszyły premierze i jak wypadł w testach porównawczych.
Najważniejsze informacje
- Dwa warianty, około 65 MB i 75 MB. Razem obsługują pięć języków: angielski, francuski, niemiecki, hiszpański i portugalski. Do wyboru jest ponad 100 wbudowanych głosów.
- Phonon 31m (tylko angielski) jest na licencji Apache 2.0, więc można go używać za darmo, także komercyjnie. Phonon 40m (pięć języków) ma licencję niekomercyjną CC BY-NC.
- W rankingu Open TTS Leaderboard Phonon zajął 1. miejsce pod względem zrozumiałości mowy w języku niemieckim i hiszpańskim. W każdym ocenianym języku znalazł się w pierwszej trójce, obok modeli nawet 100 razy większych.
- Model prowadzi w benchmarku strumieniowania na CPU pod względem czasu do pierwszego fragmentu audio.
- Phonon działa w nowym frameworku inferencyjnym ptts (ponad 10 backendów) oraz w bibliotece Transformers od wersji 5.21.
Mały model, który ma brzmieć dobrze
Większość głosowych systemów AI działa w chmurze, więc każde zdanie trafia na serwer i z powrotem. Gradium wybrało inne podejście: model działa lokalnie, tekst zostaje na urządzeniu, a synteza mowy działa bez sieci.
Autorzy przyznają, że uruchomienie dobrego głosu na małym urządzeniu zawsze wymagało kompromisu. Mały model brzmiał słabo, a model brzmiący dobrze nie mieścił się w pamięci. Według Gradium Phonon rozwiązuje oba problemy.
Projekt zapowiedziano w kwietniu. Przez kolejne pół roku firma rozwijała go z partnerami i pierwszymi użytkownikami, a ich uwagi ukształtowały obecne wydanie. Modele stały się mniejsze, doszły nowe języki oraz obsługa własnych głosów przez klonowanie (voice cloning) i projektowanie głosu (voice design).
Phonon wywodzi się z linii Pocket TTS i generuje dźwięk metodą flow matching, wyraźnie odmienną od technik stosowanych w innych systemach TTS. Według autorów to właśnie pozwoliło uzyskać taką jakość przy tak małym rozmiarze. Metoda przysporzyła jednak problemów przy treningu: początkowo był on niestabilny numerycznie i wymagał kilku sztuczek, by uzyskać dobre wyniki we wszystkich pięciu językach.
Model radzi sobie też z elementami, na których wiele systemów TTS się potyka, takimi jak numery telefonów, daty i kody. Działa na telefonach, laptopach, komputerach jednopłytkowych i w karcie przeglądarki.
Dema, integracje i pierwsze projekty
Premierze towarzyszyły dema przygotowane przez zespół Gradium i jego znajomych:
- Na Apple Watchu z wyłączonym Wi-Fi Phonon krok po kroku prowadzi przez parzenie kawy.
- Na iPhonie bez zasięgu liczy powtórzenia ćwiczeń i motywuje do dalszego wysiłku.
- Robot Lamp firmy Autonomous nosi tiarę przydziału i mówi w roli postaci.
- W przeglądarce offline'owa gra z biegnącym dinozaurem zamienia się w audycję radiową prowadzoną przez Rexa.
- Pokazano też grę science fiction, której głosy generuje komputer gracza, oraz Prousta czytanego na głos strona po stronie.
Zespół Hugging Face przygotował integrację z biblioteką Transformers, dzięki czemu deweloperzy mogli korzystać z Phonon od pierwszego dnia. Społeczność też zaczęła z nim pracować. Konwersja do ExecuTorch uruchamia model na GPU odwiedzającego w przeglądarce, projekt Micdrop wprowadza go do aplikacji Node.js, a na modelu bazują także Spaces, takie jak smallest-s2s.
Jak Phonon wypadł w Open TTS Leaderboard
Open TTS Leaderboard to nowy projekt Hugging Face. Na Hubie jest ponad 9000 modeli TTS, a ranking pozwala porównać otwarte modele w jednym miejscu i odsłuchać je obok siebie. Ocena obejmuje 23 języki i trzy obszary:
- zrozumiałość, mierzoną współczynnikiem błędów słów (word error rate) w wygenerowanej mowie,
- szybkość, czyli odwrotność współczynnika czasu rzeczywistego (inverse real-time factor) oraz czas do pierwszego fragmentu audio,
- naturalność, mierzoną wskaźnikiem UTMOS dla angielskiego i KOMOS dla koreańskiego.
Ranking ocenia zarówno stałe głosy, jak i klonowanie głosu. W tym drugim przypadku dochodzi miara podobieństwa do mówcy. Zakładka Listen pozwala samodzielnie porównać nagrania i zagłosować na najlepsze.
W zrozumiałości Phonon zajął pierwsze miejsce dla niemieckiego i hiszpańskiego, a we wszystkich językach ocenianych przez autorów znalazł się w pierwszej trójce. Jego największą zaletą jest jednak szybkość: modele prowadzą w benchmarku strumieniowania na CPU pod względem czasu do pierwszego fragmentu audio.
Pod maską: ptts i Transformers
Na potrzeby Phonon Gradium zbudowało nowy framework inferencyjny ptts. Ma on zapewniać najlepszą wydajność na możliwie wielu urządzeniach i obsługuje ponad 10 backendów:
- CPU: Intel, Arm, WebAssembly
- GPU: CUDA, Vulkan, Metal, WebGPU
- NPU: Apple Core ML, Snapdragon
Druga ścieżka to Transformers od wersji 5.21, gdzie znajduje się referencyjna implementacja w PyTorch. Oba narzędzia mają różne zadania. ptts obsługuje pojedynczy strumień na urządzeniu, a Transformers celuje w przepustowość na GPU: generowanie wsadowe i pełnografowy torch.compile, np. do masowej syntezy zbiorów danych mowy. Natywna implementacja w PyTorch ułatwia też włączenie Phonon we własny stos technologiczny lub badanie samego modelu.
Ponieważ Phonon należy do linii Pocket TTS, najpierw do Transformers trafił Pocket TTS. Phonon działa na nim jako model modułowy: około 200 linii kodu opisuje wyłącznie różnice.
Model generuje latenty audio autoregresywnie: każdy krok zwraca latent, który staje się kolejnym wejściem, i na nich liczona jest funkcja straty. Latenty pełnią więc tę samą rolę, co tokeny tekstowe w modelu językowym. Kodek mapujący dźwięk na latenty działa jak tokenizer i tak też trafił do Transformers: jako audio tokenizer przechowywany w procesorze obok tokenizera tekstu. Według przykładu z bloga wariant gradium/phonon-31m-en ma 30 788 354 parametry, a jego tokenizer audio 10 305 313.
Głos nie jest tu nagraniem, lecz tensorem latentów mówcy. Tokenizer audio jest dostarczany wyłącznie z dekoderem, więc Phonon nigdy nie koduje dźwięku bezpośrednio. Głosy są przygotowane z góry w repozytorium gradium/phonon-voices. Układ promptu (pozycje głosu, tekst i token otwierający audio) jest dołączony do checkpointu jako szablon czatu, tak jak w innych modelach multimodalnych w Transformers. W praktyce wygląda to tak:
conversation = [
{"role": "user", "content": [{"type": "audio"}, {"type": "text", "text": "Hello from Phonon."}]}
]
inputs = processor.apply_chat_template(
conversation, tokenize=True, return_dict=True, add_generation_prompt=True,
processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)
outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)
processor.save_audio(audio, "phonon.wav")
Procesor rozwija znacznik głosu do jednej pozycji na ramkę, normalizuje i tokenizuje tekst, a następnie łączy dane wejściowe we wsad. Metoda generate zwraca latenty, które procesor dekoduje do dźwięku. Kod pozostaje taki sam niezależnie od checkpointu.
Co dalej: własne głosy i modele na zamówienie
Phonon może mówić dowolnym głosem. Głos można sklonować z krótkiego nagrania za zgodą mówcy albo opisać zwykłym tekstem w Gradium Studio. Gotowy plik głosu pobiera się i wczytuje do modelu, który dalej działa w całości na urządzeniu.
Gradium trenuje też niestandardowe wersje Phonon z partnerami projektowymi. Firma deklaruje, że może zmniejszyć model przy ograniczonej pamięci, wytrenować go dla języków takich jak koreański, arabski czy japoński oraz dostroić go do słownictwa konkretnego produktu. Przy komercyjnym użyciu modeli na licencji CC BY-NC cena zależy od liczby użytkowników, a nie od ilości wygenerowanej mowy.
Co to oznacza dla Polski
Języka polskiego nie ma wśród pięciu obsługiwanych języków. Polscy deweloperzy mogą od razu użyć komercyjnie tylko angielskiego Phonon 31m na licencji Apache 2.0. Wielojęzyczny Phonon 40m jest darmowy wyłącznie w projektach niekomercyjnych. Gradium oferuje trenowanie modeli pod kolejne języki, ale wśród przykładów wymienia koreański, arabski i japoński. Źródło nie mówi nic o polskim.
Dla polskich firm ciekawe może być samo podejście on-device. Skoro tekst nie opuszcza urządzenia, odpada przesyłanie treści do zewnętrznej chmury. To argument w aplikacjach, w których liczy się poufność danych, zwłaszcza że firmy często nie kontrolują, co pracownicy wysyłają do usług AI, jak pokazuje raport ESET o udostępnianiu danych firmowych narzędziom AI. Obsługa przeglądarki, WebAssembly i komputerów jednopłytkowych pozwala też testować model bez inwestowania w infrastrukturę serwerową.
Phonon to pierwsze otwarte wydanie Gradium. Pokazuje, że model mowy o rozmiarze kilkudziesięciu megabajtów może konkurować w benchmarkach z dużo większymi systemami i działać bez dostępu do sieci.
Źródła
Podobne publikacje

Nemotron-Personas-Finance-Japan: 9 mln syntetycznych person od NVIDIA
Nemotron-Personas-Finance-Japan od Elith i NVIDIA to 9 mln syntetycznych person z danymi o finansach Japończyków. Sprawdź, jak powstał zbiór i do czego służy.
Open ASR Leaderboard: egipski i nigeryjski angielski w rankingu
Open ASR Leaderboard od Hugging Face dodaje prywatne nagrania od Liva AI z egipskim i nigeryjskim angielskim oraz nowy podział akcentów według modelu Kachru.

Dharma Field Extractor: model 2B wyciąga pola z dokumentów do JSON
Dharma Field Extractor to model o 2 mld parametrów zamieniający dokumenty w JSON. W benchmarku wyprzedził Claude Opus 5 i GPT-5.6, kosztując do 147 razy mniej.