Sprakeloos: Spraakinstructietraining zonder spraak voor talen met beperkte bronnen

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

May 23, 2025

Auteurs: Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip

cs.AI

Samenvatting

De snelle groei van spraakassistenten aangedreven door grote taalmodellen (LLM) heeft de behoefte aan spraakinstructiedata om deze systemen te trainen benadrukt. Ondanks de overvloed aan spraakherkenningsdata is er een opvallend tekort aan spraakinstructiedata, die essentieel is voor het finetunen van modellen om gesproken commando's te begrijpen en uit te voeren. Het genereren van hoogwaardige synthetische spraak vereist een goed tekst-naar-spraak (TTS) model, dat mogelijk niet beschikbaar is voor talen met beperkte bronnen. Onze nieuwe aanpak lost deze uitdaging op door de synthese te stoppen op het niveau van semantische representatie, waardoor de noodzaak voor TTS wordt omzeild. We bereiken dit door synthetische semantische representaties af te stemmen op de vooraf getrainde Whisper-encoder, waardoor een LLM kan worden gefinetuned op tekstinstructies terwijl het vermogen behouden blijft om gesproken instructies te begrijpen tijdens inferentie. Dit vereenvoudigde trainingsproces is een veelbelovende aanpak voor het bouwen van spraakassistenten voor talen met beperkte bronnen.

English

The rapid growth of voice assistants powered by large language models (LLM) has highlighted a need for speech instruction data to train these systems. Despite the abundance of speech recognition data, there is a notable scarcity of speech instruction data, which is essential for fine-tuning models to understand and execute spoken commands. Generating high-quality synthetic speech requires a good text-to-speech (TTS) model, which may not be available to low resource languages. Our novel approach addresses this challenge by halting synthesis at the semantic representation level, bypassing the need for TTS. We achieve this by aligning synthetic semantic representations with the pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text instructions while maintaining the ability to understand spoken instructions during inference. This simplified training process is a promising approach to building voice assistant for low-resource languages.