Sprachlos: Sprachinstruktionstraining ohne Sprache für ressourcenarme Sprachen
Speechless: Speech Instruction Training Without Speech for Low Resource Languages
May 23, 2025
papers.authors: Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip
cs.AI
papers.abstract
Das rasante Wachstum von Sprachassistenten, die auf großen Sprachmodellen (LLM) basieren, hat den Bedarf an Sprachinstruktionsdaten zur Schulung dieser Systeme deutlich gemacht. Trotz der Fülle von Spracherkennungsdaten besteht ein bemerkenswerter Mangel an Sprachinstruktionsdaten, die entscheidend sind, um Modelle für das Verstehen und Ausführen gesprochener Befehle zu optimieren. Die Erzeugung hochwertiger synthetischer Sprache erfordert ein gutes Text-zu-Sprache-Modell (TTS), das für ressourcenarme Sprachen möglicherweise nicht verfügbar ist. Unser neuartiger Ansatz bewältigt diese Herausforderung, indem die Synthese auf der Ebene der semantischen Repräsentation gestoppt wird, wodurch die Notwendigkeit für TTS entfällt. Dies erreichen wir, indem wir synthetische semantische Repräsentationen mit dem vortrainierten Whisper-Encoder ausrichten, wodurch ein LLM auf Textinstruktionen feinabgestimmt werden kann, während die Fähigkeit erhalten bleibt, gesprochene Anweisungen während der Inferenz zu verstehen. Dieser vereinfachte Trainingsprozess ist ein vielversprechender Ansatz zum Aufbau von Sprachassistenten für ressourcenarme Sprachen.
English
The rapid growth of voice assistants powered by large language models (LLM)
has highlighted a need for speech instruction data to train these systems.
Despite the abundance of speech recognition data, there is a notable scarcity
of speech instruction data, which is essential for fine-tuning models to
understand and execute spoken commands. Generating high-quality synthetic
speech requires a good text-to-speech (TTS) model, which may not be available
to low resource languages. Our novel approach addresses this challenge by
halting synthesis at the semantic representation level, bypassing the need for
TTS. We achieve this by aligning synthetic semantic representations with the
pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text
instructions while maintaining the ability to understand spoken instructions
during inference. This simplified training process is a promising approach to
building voice assistant for low-resource languages.