POWSM : un modèle de fondation phonétique de la parole de type chuchoté ouvert

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

October 28, 2025

papers.authors: Chin-Jou Li, Kalvin Chang, Shikhar Bharadwaj, Eunjung Yeo, Kwanghee Choi, Jian Zhu, David Mortensen, Shinji Watanabe

cs.AI

papers.abstract

Les récents progrès en traitement de la parole ont conduit à des avancées significatives dans des tâches phonétiques telles que la reconnaissance automatique de la parole (ASR), la reconnaissance de phonèmes (PR), la conversion graphème-phonème (G2P) et la conversion phonème-graphème (P2G). Bien que conceptuellement similaires, ces tâches ont largement été étudiées séparément, chacune reposant sur des architectures et des jeux de données spécifiques. Dans cet article, nous présentons POWSM (Phonetic Open Whisper-style Speech Model), le premier cadre unifié capable d'effectuer conjointement plusieurs tâches liées aux phonèmes. POWSM permet une conversion fluide entre l'audio, le texte (graphèmes) et les phonèmes, ouvrant de nouvelles perspectives pour le traitement universel et adapté aux langues peu dotées. Notre modèle surpasse ou égale les modèles PR spécialisés de taille similaire (Wav2Vec2Phoneme et ZIPA) tout en prenant en charge conjointement G2P, P2G et ASR. Nos données d'entraînement, notre code et nos modèles sont publiés pour favoriser la science ouverte.

English

Recent advances in spoken language processing have led to substantial progress in phonetic tasks such as automatic speech recognition (ASR), phone recognition (PR), grapheme-to-phoneme conversion (G2P), and phoneme-to-grapheme conversion (P2G). Despite their conceptual similarity, these tasks have largely been studied in isolation, each relying on task-specific architectures and datasets. In this paper, we introduce POWSM (Phonetic Open Whisper-style Speech Model), the first unified framework capable of jointly performing multiple phone-related tasks. POWSM enables seamless conversion between audio, text (graphemes), and phones, opening up new possibilities for universal and low-resource speech processing. Our model outperforms or matches specialized PR models of similar size (Wav2Vec2Phoneme and ZIPA) while jointly supporting G2P, P2G, and ASR. Our training data, code and models are released to foster open science.