POWSM: Een Fonetisch Open Whisper-Stijl Spraakfundamentmodel

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

October 28, 2025

Auteurs: Chin-Jou Li, Kalvin Chang, Shikhar Bharadwaj, Eunjung Yeo, Kwanghee Choi, Jian Zhu, David Mortensen, Shinji Watanabe

cs.AI

Samenvatting

Recente vooruitgang in gesproken taalverwerking heeft geleid tot aanzienlijke vooruitgang in fonetische taken zoals automatische spraakherkenning (ASR), foneemherkenning (PR), grafeem-naar-foneemconversie (G2P) en foneem-naar-grafeemconversie (P2G). Ondanks hun conceptuele gelijkenis zijn deze taken grotendeels afzonderlijk bestudeerd, waarbij elk vertrouwt op taakspecifieke architecturen en datasets. In dit artikel introduceren we POWSM (Phonetic Open Whisper-style Speech Model), het eerste verenigde raamwerk dat in staat is om meerdere foneemgerelateerde taken gezamenlijk uit te voeren. POWSM maakt naadloze conversie tussen audio, tekst (grafemen) en fonemen mogelijk, wat nieuwe mogelijkheden opent voor universele en data-arme spraakverwerking. Ons model presteert beter dan of even goed als gespecialiseerde PR-modellen van vergelijkbare grootte (Wav2Vec2Phoneme en ZIPA), terwijl het tegelijkertijd G2P, P2G en ASR ondersteunt. Onze trainingsdata, code en modellen worden vrijgegeven om open wetenschap te bevorderen.

English

Recent advances in spoken language processing have led to substantial progress in phonetic tasks such as automatic speech recognition (ASR), phone recognition (PR), grapheme-to-phoneme conversion (G2P), and phoneme-to-grapheme conversion (P2G). Despite their conceptual similarity, these tasks have largely been studied in isolation, each relying on task-specific architectures and datasets. In this paper, we introduce POWSM (Phonetic Open Whisper-style Speech Model), the first unified framework capable of jointly performing multiple phone-related tasks. POWSM enables seamless conversion between audio, text (graphemes), and phones, opening up new possibilities for universal and low-resource speech processing. Our model outperforms or matches specialized PR models of similar size (Wav2Vec2Phoneme and ZIPA) while jointly supporting G2P, P2G, and ASR. Our training data, code and models are released to foster open science.