OWSM v4: Mejora de los modelos de habla estilo Whisper abiertos mediante escalado y limpieza de datos

OWSM v4: Improving Open Whisper-Style Speech Models via Data Scaling and Cleaning

May 31, 2025

Autores: Yifan Peng, Shakeel Muhammad, Yui Sudo, William Chen, Jinchuan Tian, Chyi-Jiunn Lin, Shinji Watanabe

cs.AI

Resumen

El proyecto Open Whisper-style Speech Models (OWSM) ha desarrollado una serie de modelos de base de voz completamente abiertos utilizando recursos a escala académica, aunque sus datos de entrenamiento siguen siendo insuficientes. Este trabajo mejora OWSM mediante la integración de YODAS, un conjunto de datos a gran escala obtenido mediante web crawling y con licencia Creative Commons. Sin embargo, incorporar YODAS no es trivial debido a su naturaleza desordenada, lo que introduce desafíos como etiquetas de idioma incorrectas y desalineaciones entre audio y texto. Para abordar esto, desarrollamos una pipeline escalable de limpieza de datos utilizando herramientas públicas, obteniendo un conjunto de datos con 166,000 horas de habla en 75 idiomas. Nuestra nueva serie de modelos OWSM v4, entrenada en este conjunto de datos curado junto con los datos existentes de OWSM, supera significativamente a las versiones anteriores en benchmarks multilingües. Nuestros modelos incluso igualan o superan a modelos industriales de vanguardia como Whisper y MMS en múltiples escenarios. Publicaremos los datos limpios de YODAS, los modelos preentrenados y todos los scripts asociados a través del toolkit ESPnet.

English

The Open Whisper-style Speech Models (OWSM) project has developed a series of fully open speech foundation models using academic-scale resources, but their training data remains insufficient. This work enhances OWSM by integrating YODAS, a large-scale web-crawled dataset with a Creative Commons license. However, incorporating YODAS is nontrivial due to its wild nature, which introduces challenges such as incorrect language labels and audio-text misalignments. To address this, we develop a scalable data-cleaning pipeline using public toolkits, yielding a dataset with 166,000 hours of speech across 75 languages. Our new series of OWSM v4 models, trained on this curated dataset alongside existing OWSM data, significantly outperform previous versions on multilingual benchmarks. Our models even match or surpass frontier industrial models like Whisper and MMS in multiple scenarios. We will publicly release the cleaned YODAS data, pre-trained models, and all associated scripts via the ESPnet toolkit.