OWSM v4: Улучшение открытых речевых моделей в стиле Whisper за счет масштабирования и очистки данных

OWSM v4: Improving Open Whisper-Style Speech Models via Data Scaling and Cleaning

May 31, 2025

Авторы: Yifan Peng, Shakeel Muhammad, Yui Sudo, William Chen, Jinchuan Tian, Chyi-Jiunn Lin, Shinji Watanabe

cs.AI

Аннотация

Проект Open Whisper-style Speech Models (OWSM) разработал серию полностью открытых базовых моделей для обработки речи с использованием академических ресурсов, однако их обучающие данные остаются недостаточными. В данной работе мы улучшаем OWSM, интегрируя YODAS — крупномасштабный набор данных, собранный из интернета и распространяемый под лицензией Creative Commons. Однако включение YODAS сопряжено с трудностями из-за его неструктурированности, что приводит к таким проблемам, как некорректные языковые метки и несоответствия между аудио и текстом. Для решения этих задач мы разработали масштабируемый конвейер очистки данных с использованием общедоступных инструментов, получив набор данных, содержащий 166 000 часов речи на 75 языках. Наша новая серия моделей OWSM v4, обученная на этом обработанном наборе данных вместе с существующими данными OWSM, значительно превосходит предыдущие версии на мультиязычных тестах. Наши модели даже соответствуют или превосходят передовые промышленные модели, такие как Whisper и MMS, в различных сценариях. Мы опубликуем очищенные данные YODAS, предобученные модели и все связанные скрипты через инструментарий ESPnet.

English

The Open Whisper-style Speech Models (OWSM) project has developed a series of fully open speech foundation models using academic-scale resources, but their training data remains insufficient. This work enhances OWSM by integrating YODAS, a large-scale web-crawled dataset with a Creative Commons license. However, incorporating YODAS is nontrivial due to its wild nature, which introduces challenges such as incorrect language labels and audio-text misalignments. To address this, we develop a scalable data-cleaning pipeline using public toolkits, yielding a dataset with 166,000 hours of speech across 75 languages. Our new series of OWSM v4 models, trained on this curated dataset alongside existing OWSM data, significantly outperform previous versions on multilingual benchmarks. Our models even match or surpass frontier industrial models like Whisper and MMS in multiple scenarios. We will publicly release the cleaned YODAS data, pre-trained models, and all associated scripts via the ESPnet toolkit.