Speechless : Entraînement aux instructions vocales sans parole pour les langues à ressources limitées

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

May 23, 2025

Auteurs: Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip

cs.AI

Résumé

La croissance rapide des assistants vocaux alimentés par des modèles de langage de grande taille (LLM) a mis en lumière le besoin de données d'instructions vocales pour entraîner ces systèmes. Malgré l'abondance de données de reconnaissance vocale, il existe une pénurie notable de données d'instructions vocales, essentielles pour affiner les modèles afin qu'ils comprennent et exécutent des commandes parlées. La génération de synthèse vocale de haute qualité nécessite un bon modèle de synthèse vocale (TTS), qui peut ne pas être disponible pour les langues à ressources limitées. Notre approche novatrice relève ce défi en interrompant la synthèse au niveau de la représentation sémantique, évitant ainsi le besoin de TTS. Nous y parvenons en alignant les représentations sémantiques synthétiques avec l'encodeur pré-entraîné Whisper, permettant ainsi à un LLM d'être affiné sur des instructions textuelles tout en conservant la capacité de comprendre les instructions parlées lors de l'inférence. Ce processus d'entraînement simplifié constitue une approche prometteuse pour développer des assistants vocaux pour les langues à ressources limitées.

English

The rapid growth of voice assistants powered by large language models (LLM) has highlighted a need for speech instruction data to train these systems. Despite the abundance of speech recognition data, there is a notable scarcity of speech instruction data, which is essential for fine-tuning models to understand and execute spoken commands. Generating high-quality synthetic speech requires a good text-to-speech (TTS) model, which may not be available to low resource languages. Our novel approach addresses this challenge by halting synthesis at the semantic representation level, bypassing the need for TTS. We achieve this by aligning synthetic semantic representations with the pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text instructions while maintaining the ability to understand spoken instructions during inference. This simplified training process is a promising approach to building voice assistant for low-resource languages.