OWSM v4 : Amélioration des modèles de parole de style Whisper ouverts par mise à l'échelle et nettoyage des données

OWSM v4: Improving Open Whisper-Style Speech Models via Data Scaling and Cleaning

May 31, 2025

Auteurs: Yifan Peng, Shakeel Muhammad, Yui Sudo, William Chen, Jinchuan Tian, Chyi-Jiunn Lin, Shinji Watanabe

cs.AI

Résumé

Le projet Open Whisper-style Speech Models (OWSM) a développé une série de modèles de base pour la parole entièrement ouverts, en utilisant des ressources à l'échelle académique, mais leurs données d'entraînement restent insuffisantes. Ce travail améliore OWSM en intégrant YODAS, un ensemble de données massif collecté sur le web sous licence Creative Commons. Cependant, l'intégration de YODAS n'est pas triviale en raison de sa nature hétérogène, qui introduit des défis tels que des étiquettes de langue incorrectes et des désalignements audio-texte. Pour y remédier, nous avons développé un pipeline de nettoyage de données scalable utilisant des outils publics, produisant un ensemble de données de 166 000 heures de parole couvrant 75 langues. Notre nouvelle série de modèles OWSM v4, entraînée sur cet ensemble de données nettoyé ainsi que sur les données OWSM existantes, surpasse significativement les versions précédentes sur des benchmarks multilingues. Nos modèles égalent ou surpassent même des modèles industriels de pointe comme Whisper et MMS dans plusieurs scénarios. Nous rendrons publics les données nettoyées de YODAS, les modèles pré-entraînés et tous les scripts associés via la boîte à outils ESPnet.

English

The Open Whisper-style Speech Models (OWSM) project has developed a series of fully open speech foundation models using academic-scale resources, but their training data remains insufficient. This work enhances OWSM by integrating YODAS, a large-scale web-crawled dataset with a Creative Commons license. However, incorporating YODAS is nontrivial due to its wild nature, which introduces challenges such as incorrect language labels and audio-text misalignments. To address this, we develop a scalable data-cleaning pipeline using public toolkits, yielding a dataset with 166,000 hours of speech across 75 languages. Our new series of OWSM v4 models, trained on this curated dataset alongside existing OWSM data, significantly outperform previous versions on multilingual benchmarks. Our models even match or surpass frontier industrial models like Whisper and MMS in multiple scenarios. We will publicly release the cleaned YODAS data, pre-trained models, and all associated scripts via the ESPnet toolkit.