OWSM v4: Aprimorando Modelos de Fala no Estilo Whisper Aberto por meio de Escalonamento e Limpeza de Dados

OWSM v4: Improving Open Whisper-Style Speech Models via Data Scaling and Cleaning

May 31, 2025

Autores: Yifan Peng, Shakeel Muhammad, Yui Sudo, William Chen, Jinchuan Tian, Chyi-Jiunn Lin, Shinji Watanabe

cs.AI

Resumo

O projeto Open Whisper-style Speech Models (OWSM) desenvolveu uma série de modelos de base de fala totalmente abertos utilizando recursos em escala acadêmica, mas seus dados de treinamento permanecem insuficientes. Este trabalho aprimora o OWSM ao integrar o YODAS, um conjunto de dados em grande escala obtido por web crawling com licença Creative Commons. No entanto, a incorporação do YODAS não é trivial devido à sua natureza diversificada, que introduz desafios como rótulos de idioma incorretos e desalinhamentos entre áudio e texto. Para resolver isso, desenvolvemos um pipeline escalável de limpeza de dados utilizando kits de ferramentas públicos, resultando em um conjunto de dados com 166.000 horas de fala em 75 idiomas. Nossa nova série de modelos OWSM v4, treinada nesse conjunto de dados curado juntamente com os dados existentes do OWSM, supera significativamente as versões anteriores em benchmarks multilingues. Nossos modelos até mesmo igualam ou superam modelos industriais de ponta, como Whisper e MMS, em múltiplos cenários. Disponibilizaremos publicamente os dados limpos do YODAS, os modelos pré-treinados e todos os scripts associados por meio do kit de ferramentas ESPnet.

English

The Open Whisper-style Speech Models (OWSM) project has developed a series of fully open speech foundation models using academic-scale resources, but their training data remains insufficient. This work enhances OWSM by integrating YODAS, a large-scale web-crawled dataset with a Creative Commons license. However, incorporating YODAS is nontrivial due to its wild nature, which introduces challenges such as incorrect language labels and audio-text misalignments. To address this, we develop a scalable data-cleaning pipeline using public toolkits, yielding a dataset with 166,000 hours of speech across 75 languages. Our new series of OWSM v4 models, trained on this curated dataset alongside existing OWSM data, significantly outperform previous versions on multilingual benchmarks. Our models even match or surpass frontier industrial models like Whisper and MMS in multiple scenarios. We will publicly release the cleaned YODAS data, pre-trained models, and all associated scripts via the ESPnet toolkit.