음성 없는 학습: 저자원 언어를 위한 음성 없이 진행하는 음성 명령 훈련

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

May 23, 2025

저자: Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip

cs.AI

초록

대형 언어 모델(LLM)로 구동되는 음성 어시스턴트의 급속한 성장은 이러한 시스템을 훈련시키기 위한 음성 명령 데이터의 필요성을 부각시켰습니다. 음성 인식 데이터는 풍부하지만, 음성 명령 데이터는 상대적으로 부족한 상황이며, 이는 모델이 음성 명령을 이해하고 실행하도록 미세 조정하는 데 필수적입니다. 고품질의 합성 음성을 생성하려면 우수한 텍스트-투-스피치(TTS) 모델이 필요하지만, 이는 저자원 언어에서는 사용 가능하지 않을 수 있습니다. 우리의 새로운 접근 방식은 TTS의 필요성을 우회함으로써 이 문제를 해결합니다. 이를 위해 합성 의미 표현을 사전 훈련된 Whisper 인코더와 정렬시켜, LLM이 텍스트 명령에 대해 미세 조정되면서도 추론 과정에서 음성 명령을 이해할 수 있는 능력을 유지하도록 합니다. 이 간소화된 훈련 과정은 저자원 언어를 위한 음성 어시스턴트 구축에 있어 유망한 접근 방식입니다.

English

The rapid growth of voice assistants powered by large language models (LLM) has highlighted a need for speech instruction data to train these systems. Despite the abundance of speech recognition data, there is a notable scarcity of speech instruction data, which is essential for fine-tuning models to understand and execute spoken commands. Generating high-quality synthetic speech requires a good text-to-speech (TTS) model, which may not be available to low resource languages. Our novel approach addresses this challenge by halting synthesis at the semantic representation level, bypassing the need for TTS. We achieve this by aligning synthetic semantic representations with the pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text instructions while maintaining the ability to understand spoken instructions during inference. This simplified training process is a promising approach to building voice assistant for low-resource languages.