Speechless: 低リソース言語のための音声を用いない音声指示トレーニング

要旨

大規模言語モデル（LLM）を基盤とする音声アシスタントの急速な発展に伴い、これらのシステムを訓練するための音声指示データの必要性が浮き彫りになっています。音声認識データは豊富に存在するものの、音声指示データは著しく不足しており、これはモデルが音声コマンドを理解し実行するために微調整するために不可欠です。高品質な合成音声を生成するには優れたテキスト音声合成（TTS）モデルが必要ですが、低リソース言語ではこれが利用できない場合があります。私たちの新しいアプローチは、この課題に対処するために、意味表現レベルで合成を停止し、TTSを必要としない方法を採用しています。これは、合成された意味表現を事前訓練されたWhisperエンコーダーと整合させることで実現し、LLMがテキスト指示で微調整されながらも、推論時に音声指示を理解する能力を維持できるようにします。この簡素化された訓練プロセスは、低リソース言語向けの音声アシスタントを構築するための有望なアプローチです。

English

The rapid growth of voice assistants powered by large language models (LLM) has highlighted a need for speech instruction data to train these systems. Despite the abundance of speech recognition data, there is a notable scarcity of speech instruction data, which is essential for fine-tuning models to understand and execute spoken commands. Generating high-quality synthetic speech requires a good text-to-speech (TTS) model, which may not be available to low resource languages. Our novel approach addresses this challenge by halting synthesis at the semantic representation level, bypassing the need for TTS. We achieve this by aligning synthetic semantic representations with the pre-trained Whisper encoder, enabling an LLM to be fine-tuned on text instructions while maintaining the ability to understand spoken instructions during inference. This simplified training process is a promising approach to building voice assistant for low-resource languages.

Speechless: 低リソース言語のための音声を用いない音声指示トレーニング

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

要旨

Support