OWSM v4: Verbetering van Open Whisper-Style Spraakmodellen via Dataschaling en -opschoning

OWSM v4: Improving Open Whisper-Style Speech Models via Data Scaling and Cleaning

May 31, 2025

Auteurs: Yifan Peng, Shakeel Muhammad, Yui Sudo, William Chen, Jinchuan Tian, Chyi-Jiunn Lin, Shinji Watanabe

cs.AI

Samenvatting

Het Open Whisper-style Speech Models (OWSM)-project heeft een reeks volledig open spraakfundamentmodellen ontwikkeld met behulp van academische middelen, maar hun trainingsdata blijft onvoldoende. Dit werk verbetert OWSM door YODAS te integreren, een grootschalige dataset die via webcrawling is verzameld en onder een Creative Commons-licentie valt. Het opnemen van YODAS is echter niet eenvoudig vanwege zijn ongestructureerde aard, wat uitdagingen met zich meebrengt zoals incorrecte taallabels en audio-tekst-misalignments. Om dit aan te pakken, ontwikkelen we een schaalbare data-cleaning-pipeline met behulp van openbare toolkits, wat resulteert in een dataset met 166.000 uur spraak in 75 talen. Onze nieuwe reeks OWSM v4-modellen, getraind op deze gecureerde dataset naast bestaande OWSM-data, presteren aanzienlijk beter dan eerdere versies op meertalige benchmarks. Onze modellen evenaren of overtreffen zelfs toonaangevende industriële modellen zoals Whisper en MMS in meerdere scenario's. We zullen de gereinigde YODAS-data, vooraf getrainde modellen en alle bijbehorende scripts openbaar beschikbaar stellen via de ESPnet-toolkit.

English

The Open Whisper-style Speech Models (OWSM) project has developed a series of fully open speech foundation models using academic-scale resources, but their training data remains insufficient. This work enhances OWSM by integrating YODAS, a large-scale web-crawled dataset with a Creative Commons license. However, incorporating YODAS is nontrivial due to its wild nature, which introduces challenges such as incorrect language labels and audio-text misalignments. To address this, we develop a scalable data-cleaning pipeline using public toolkits, yielding a dataset with 166,000 hours of speech across 75 languages. Our new series of OWSM v4 models, trained on this curated dataset alongside existing OWSM data, significantly outperform previous versions on multilingual benchmarks. Our models even match or surpass frontier industrial models like Whisper and MMS in multiple scenarios. We will publicly release the cleaned YODAS data, pre-trained models, and all associated scripts via the ESPnet toolkit.