Speechless: Обучение речевым инструкциям без использования речи для языков с ограниченными ресурсами

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

May 23, 2025

Авторы: Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip

cs.AI

Аннотация

Быстрый рост голосовых помощников, основанных на больших языковых моделях (LLM), подчеркнул необходимость в данных речевых инструкций для обучения таких систем. Несмотря на обилие данных для распознавания речи, наблюдается заметный дефицит данных речевых инструкций, которые необходимы для тонкой настройки моделей с целью понимания и выполнения устных команд. Генерация высококачественного синтетического голоса требует наличия хорошей модели преобразования текста в речь (TTS), которая может быть недоступна для языков с ограниченными ресурсами. Наш новый подход решает эту проблему, останавливая синтез на уровне семантического представления, что позволяет обойтись без TTS. Мы достигаем этого, выравнивая синтетические семантические представления с предварительно обученным энкодером Whisper, что позволяет тонко настраивать LLM на текстовые инструкции, сохраняя при этом способность понимать устные команды во время вывода. Этот упрощенный процесс обучения представляет собой перспективный подход к созданию голосовых помощников для языков с ограниченными ресурсами.

English

The rapid growth of voice assistants powered by large language models (LLM) has highlighted a need for speech instruction data to train these systems. Despite the abundance of speech recognition data, there is a notable scarcity of speech instruction data, which is essential for fine-tuning models to understand and execute spoken commands. Generating high-quality synthetic speech requires a good text-to-speech (TTS) model, which may not be available to low resource languages. Our novel approach addresses this challenge by halting synthesis at the semantic representation level, bypassing the need for TTS. We achieve this by aligning synthetic semantic representations with the pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text instructions while maintaining the ability to understand spoken instructions during inference. This simplified training process is a promising approach to building voice assistant for low-resource languages.