POWSM: un modello fonetico di base vocale in stile whisper aperto

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

October 28, 2025

Autori: Chin-Jou Li, Kalvin Chang, Shikhar Bharadwaj, Eunjung Yeo, Kwanghee Choi, Jian Zhu, David Mortensen, Shinji Watanabe

cs.AI

Abstract

I recenti progressi nell'elaborazione del linguaggio parlato hanno portato a sostanziali avanzamenti in compiti fonetici come il riconoscimento automatico del parlato (ASR), il riconoscimento di fonemi (PR), la conversione grafema-fonema (G2P) e la conversione fonema-grafema (P2G). Nonostante la loro somiglianza concettuale, questi compiti sono stati largamente studiati in isolamento, ciascuno basandosi su architetture e dataset specifici. In questo articolo, introduciamo POWSM (Phonetic Open Whisper-style Speech Model), il primo framework unificato in grado di eseguire congiuntamente molteplici compiti relativi ai fonemi. POWSM consente una conversione senza soluzione di continuità tra audio, testo (grafemi) e fonemi, aprendo nuove possibilità per l'elaborazione del parlato universale e a risorse limitate. Il nostro modello supera o eguaglia modelli PR specializzati di dimensioni simili (Wav2Vec2Phoneme e ZIPA) supportando contemporaneamente G2P, P2G e ASR. I nostri dati di addestramento, il codice e i modelli sono rilasciati per promuovere la scienza aperta.

English

Recent advances in spoken language processing have led to substantial progress in phonetic tasks such as automatic speech recognition (ASR), phone recognition (PR), grapheme-to-phoneme conversion (G2P), and phoneme-to-grapheme conversion (P2G). Despite their conceptual similarity, these tasks have largely been studied in isolation, each relying on task-specific architectures and datasets. In this paper, we introduce POWSM (Phonetic Open Whisper-style Speech Model), the first unified framework capable of jointly performing multiple phone-related tasks. POWSM enables seamless conversion between audio, text (graphemes), and phones, opening up new possibilities for universal and low-resource speech processing. Our model outperforms or matches specialized PR models of similar size (Wav2Vec2Phoneme and ZIPA) while jointly supporting G2P, P2G, and ASR. Our training data, code and models are released to foster open science.