POWSM: Фонетическая открытая речевая фундаментальная модель в стиле Whisper

POWSM: A Phonetic Open Whisper-Style Speech Foundation Model

October 28, 2025

Авторы: Chin-Jou Li, Kalvin Chang, Shikhar Bharadwaj, Eunjung Yeo, Kwanghee Choi, Jian Zhu, David Mortensen, Shinji Watanabe

cs.AI

Аннотация

Последние достижения в области обработки устной речи привели к значительному прогрессу в решении фонетических задач, таких как автоматическое распознавание речи (АРР), распознавание фонем (РФ), преобразование графем в фонемы (G2P) и преобразование фонем в графемы (P2G). Несмотря на их концептуальное сходство, эти задачи в основном изучались изолированно, каждая с опорой на специфические архитектуры и наборы данных. В данной статье мы представляем POWSM (Phonetic Open Whisper-style Speech Model) — первую унифицированную платформу, способную совместно выполнять несколько фонетических задач. POWSM обеспечивает seamless-преобразование между аудио, текстом (графемами) и фонемами, открывая новые возможности для универсальной и ресурсо-эффективной обработки речи. Наша модель превосходит или соответствует по точности специализированным моделям РФ аналогичного размера (Wav2Vec2Phoneme и ZIPA), одновременно поддерживая задачи G2P, P2G и АРР. Наши данные для обучения, код и модели опубликованы в целях развития открытой науки.

English

Recent advances in spoken language processing have led to substantial progress in phonetic tasks such as automatic speech recognition (ASR), phone recognition (PR), grapheme-to-phoneme conversion (G2P), and phoneme-to-grapheme conversion (P2G). Despite their conceptual similarity, these tasks have largely been studied in isolation, each relying on task-specific architectures and datasets. In this paper, we introduce POWSM (Phonetic Open Whisper-style Speech Model), the first unified framework capable of jointly performing multiple phone-related tasks. POWSM enables seamless conversion between audio, text (graphemes), and phones, opening up new possibilities for universal and low-resource speech processing. Our model outperforms or matches specialized PR models of similar size (Wav2Vec2Phoneme and ZIPA) while jointly supporting G2P, P2G, and ASR. Our training data, code and models are released to foster open science.