POWSM: Um Modelo de Fundação de Fala em Estilo Whisper Fonético Aberto

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

October 28, 2025

Autores: Chin-Jou Li, Kalvin Chang, Shikhar Bharadwaj, Eunjung Yeo, Kwanghee Choi, Jian Zhu, David Mortensen, Shinji Watanabe

cs.AI

Resumo

Os recentes avanços no processamento de linguagem falada têm levado a progressos substanciais em tarefas fonéticas, como reconhecimento automático de fala (ASR), reconhecimento de fonemas (PR), conversão de grafema para fonema (G2P) e conversão de fonema para grafema (P2G). Apesar da sua semelhança conceptual, estas tarefas têm sido amplamente estudadas de forma isolada, cada uma dependendo de arquiteturas e conjuntos de dados específicos. Neste artigo, introduzimos o POWSM (Phonetic Open Whisper-style Speech Model), o primeiro quadro unificado capaz de executar conjuntamente múltiplas tarefas relacionadas com fonemas. O POWSM permite uma conversão perfeita entre áudio, texto (grafemas) e fonemas, abrindo novas possibilidades para o processamento de fala universal e de baixos recursos. O nosso modelo supera ou iguala modelos especializados de PR de tamanho similar (Wav2Vec2Phoneme e ZIPA), suportando simultaneamente G2P, P2G e ASR. Os nossos dados de treino, código e modelos são disponibilizados para promover a ciência aberta.

English

Recent advances in spoken language processing have led to substantial progress in phonetic tasks such as automatic speech recognition (ASR), phone recognition (PR), grapheme-to-phoneme conversion (G2P), and phoneme-to-grapheme conversion (P2G). Despite their conceptual similarity, these tasks have largely been studied in isolation, each relying on task-specific architectures and datasets. In this paper, we introduce POWSM (Phonetic Open Whisper-style Speech Model), the first unified framework capable of jointly performing multiple phone-related tasks. POWSM enables seamless conversion between audio, text (graphemes), and phones, opening up new possibilities for universal and low-resource speech processing. Our model outperforms or matches specialized PR models of similar size (Wav2Vec2Phoneme and ZIPA) while jointly supporting G2P, P2G, and ASR. Our training data, code and models are released to foster open science.