OWSM v4: Miglioramento dei modelli di riconoscimento vocale in stile Whisper attraverso il ridimensionamento e la pulizia dei dati

OWSM v4: Improving Open Whisper-Style Speech Models via Data Scaling and Cleaning

May 31, 2025

Autori: Yifan Peng, Shakeel Muhammad, Yui Sudo, William Chen, Jinchuan Tian, Chyi-Jiunn Lin, Shinji Watanabe

cs.AI

Abstract

Il progetto Open Whisper-style Speech Models (OWSM) ha sviluppato una serie di modelli di base per il riconoscimento vocale completamente open-source utilizzando risorse di scala accademica, ma i loro dati di addestramento rimangono insufficienti. Questo lavoro migliora OWSM integrando YODAS, un dataset su larga scala raccolto dal web con licenza Creative Commons. Tuttavia, incorporare YODAS non è banale a causa della sua natura disordinata, che introduce sfide come etichette linguistiche errate e disallineamenti audio-testo. Per affrontare questi problemi, abbiamo sviluppato una pipeline scalabile per la pulizia dei dati utilizzando toolkit pubblici, ottenendo un dataset con 166.000 ore di parlato in 75 lingue. La nostra nuova serie di modelli OWSM v4, addestrata su questo dataset curato insieme ai dati esistenti di OWSM, supera significativamente le versioni precedenti su benchmark multilingue. I nostri modelli eguagliano o superano persino modelli industriali all'avanguardia come Whisper e MMS in molteplici scenari. Rilasceremo pubblicamente i dati YODAS puliti, i modelli pre-addestrati e tutti gli script associati tramite il toolkit ESPnet.

English

The Open Whisper-style Speech Models (OWSM) project has developed a series of fully open speech foundation models using academic-scale resources, but their training data remains insufficient. This work enhances OWSM by integrating YODAS, a large-scale web-crawled dataset with a Creative Commons license. However, incorporating YODAS is nontrivial due to its wild nature, which introduces challenges such as incorrect language labels and audio-text misalignments. To address this, we develop a scalable data-cleaning pipeline using public toolkits, yielding a dataset with 166,000 hours of speech across 75 languages. Our new series of OWSM v4 models, trained on this curated dataset alongside existing OWSM data, significantly outperform previous versions on multilingual benchmarks. Our models even match or surpass frontier industrial models like Whisper and MMS in multiple scenarios. We will publicly release the cleaned YODAS data, pre-trained models, and all associated scripts via the ESPnet toolkit.