LEMAS: Große skalierbare mehrsprachige Audiosuite mit 150.000 Stunden Umfang und generativen Sprachmodellen

LEMAS: Large A 150K-Hour Large-scale Extensible Multilingual Audio Suite with Generative Speech Models

January 4, 2026

papers.authors: Zhiyuan Zhao, Lijian Lin, Ye Zhu, Kai Xie, Yunfei Liu, Yu Li

cs.AI

papers.abstract

Wir stellen das LEMAS-Dataset vor, das unseres Wissens nach derzeit der größte Open-Source-Multilingual-Sprachkorpus mit wortbezogenen Zeitstempeln ist. Mit über 150.000 Stunden in 10 Hauptsprachen wurde das LEMAS-Dataset durch eine effiziente Datenverarbeitungspipeline erstellt, die hochwertige Daten und Annotationen gewährleistet. Um die Wirksamkeit des LEMAS-Datasets über verschiedene generative Paradigmen hinweg zu validieren, trainieren wir zwei Benchmark-Modelle mit unterschiedlichen Architekturen und Aufgabenstellungen auf diesem Datensatz. LEMAS-TTS, basierend auf einem nicht-autoregressiven Flow-Matching-Framework, nutzt den massiven Umfang und die linguistische Vielfalt des Datensatzes, um eine robuste Zero-Shot-Multilingual-Synthese zu erreichen. Unser vorgeschlagenes akzentadversariales Training und CTC-Loss mildern akzentübergreifende Probleme und verbessern die Synthesestabilität. Ergänzend dazu verwendet LEMAS-Edit eine autoregressive, nur-Decoder-Architektur, die Sprachbearbeitung als Masked-Token-Infilling-Aufgabe formuliert. Durch die Nutzung präziser wortbezogener Ausrichtungen zur Konstruktion von Trainingsmasken und die Anwendung adaptiver Decodierungsstrategien erreicht es nahtlose Sprachbearbeitung mit glatten Übergängen und natürlichen Grenzen. Experimentelle Ergebnisse zeigen, dass auf dem LEMAS-Dataset trainierte Modelle eine hochwertige Synthese- und Bearbeitungsleistung erbringen, was die Qualität des Datensatzes bestätigt. Wir gehen davon aus, dass dieser reichhaltig zeitstempelannotierte, feingranuläre multilinguale Korpus zukünftige Fortschritte in promptbasierten Sprachgenerierungssystemen vorantreiben wird.

English

We present the LEMAS-Dataset, which, to our knowledge, is currently the largest open-source multilingual speech corpus with word-level timestamps. Covering over 150,000 hours across 10 major languages, LEMAS-Dataset is constructed via a efficient data processing pipeline that ensures high-quality data and annotations. To validate the effectiveness of LEMAS-Dataset across diverse generative paradigms, we train two benchmark models with distinct architectures and task specializations on this dataset. LEMAS-TTS, built upon a non-autoregressive flow-matching framework, leverages the dataset's massive scale and linguistic diversity to achieve robust zero-shot multilingual synthesis. Our proposed accent-adversarial training and CTC loss mitigate cross-lingual accent issues, enhancing synthesis stability. Complementarily, LEMAS-Edit employs an autoregressive decoder-only architecture that formulates speech editing as a masked token infilling task. By exploiting precise word-level alignments to construct training masks and adopting adaptive decoding strategies, it achieves seamless, smooth-boundary speech editing with natural transitions. Experimental results demonstrate that models trained on LEMAS-Dataset deliver high-quality synthesis and editing performance, confirming the dataset's quality. We envision that this richly timestamp-annotated, fine-grained multilingual corpus will drive future advances in prompt-based speech generation systems.