Speechless: Entrenamiento de Instrucción de Habla Sin Habla para Lenguajes de Bajos Recursos

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

May 23, 2025

Autores: Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip

cs.AI

Resumen

El rápido crecimiento de los asistentes de voz impulsados por modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) ha puesto de manifiesto la necesidad de datos de instrucciones habladas para entrenar estos sistemas. A pesar de la abundancia de datos de reconocimiento de voz, existe una notable escasez de datos de instrucciones habladas, los cuales son esenciales para afinar los modelos y que comprendan y ejecuten comandos verbales. La generación de voz sintética de alta calidad requiere un buen modelo de conversión de texto a voz (TTS), que puede no estar disponible para idiomas con recursos limitados. Nuestro enfoque novedoso aborda este desafío deteniendo la síntesis en el nivel de representación semántica, evitando así la necesidad de TTS. Logramos esto alineando representaciones semánticas sintéticas con el codificador preentrenado Whisper, permitiendo que un LLM se ajuste con instrucciones de texto mientras mantiene la capacidad de comprender instrucciones habladas durante la inferencia. Este proceso de entrenamiento simplificado representa un enfoque prometedor para construir asistentes de voz en idiomas con recursos limitados.

English

The rapid growth of voice assistants powered by large language models (LLM) has highlighted a need for speech instruction data to train these systems. Despite the abundance of speech recognition data, there is a notable scarcity of speech instruction data, which is essential for fine-tuning models to understand and execute spoken commands. Generating high-quality synthetic speech requires a good text-to-speech (TTS) model, which may not be available to low resource languages. Our novel approach addresses this challenge by halting synthesis at the semantic representation level, bypassing the need for TTS. We achieve this by aligning synthetic semantic representations with the pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text instructions while maintaining the ability to understand spoken instructions during inference. This simplified training process is a promising approach to building voice assistant for low-resource languages.