POWSM: Ein phonetisches Open-Whisper-Style-Sprachgrundmodell

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

October 28, 2025

papers.authors: Chin-Jou Li, Kalvin Chang, Shikhar Bharadwaj, Eunjung Yeo, Kwanghee Choi, Jian Zhu, David Mortensen, Shinji Watanabe

cs.AI

papers.abstract

Jüngste Fortschritte in der Sprachsignalverarbeitung haben zu erheblichen Verbesserungen bei phonetischen Aufgaben wie automatischer Spracherkennung (ASR), Phonemererkennung (PR), Graphem-zu-Phonem-Umwandlung (G2P) und Phonem-zu-Graphem-Umwandlung (P2G) geführt. Trotz ihrer konzeptionellen Ähnlichkeit wurden diese Aufgaben weitgehend isoliert voneinander untersucht, wobei jede auf aufgabenspezifische Architekturen und Datensätze angewiesen war. In diesem Beitrag stellen wir POWSM (Phonetic Open Whisper-style Speech Model) vor, den ersten vereinheitlichten Rahmen, der in der Lage ist, mehrere phonetische Aufgaben gemeinsam durchzuführen. POWSM ermöglicht eine nahtlose Umwandlung zwischen Audio, Text (Graphemen) und Phonemen und eröffnet damit neue Möglichkeiten für universelle und ressourcenschonende Sprachverarbeitung. Unser Modell übertrifft oder erreicht spezialisierte PR-Modelle ähnlicher Größe (Wav2Vec2Phoneme und ZIPA), während es gleichzeitig G2P, P2G und ASR unterstützt. Unsere Trainingsdaten, Code und Modelle werden veröffentlicht, um Open Science zu fördern.

English

Recent advances in spoken language processing have led to substantial progress in phonetic tasks such as automatic speech recognition (ASR), phone recognition (PR), grapheme-to-phoneme conversion (G2P), and phoneme-to-grapheme conversion (P2G). Despite their conceptual similarity, these tasks have largely been studied in isolation, each relying on task-specific architectures and datasets. In this paper, we introduce POWSM (Phonetic Open Whisper-style Speech Model), the first unified framework capable of jointly performing multiple phone-related tasks. POWSM enables seamless conversion between audio, text (graphemes), and phones, opening up new possibilities for universal and low-resource speech processing. Our model outperforms or matches specialized PR models of similar size (Wav2Vec2Phoneme and ZIPA) while jointly supporting G2P, P2G, and ASR. Our training data, code and models are released to foster open science.