大規模言語モデルにおける汎用音声能力の実現に向けて：非ペアデータの活用

要旨

本研究では、指示チューニングされたLlama-2モデルを拡張し、エンドツーエンドの汎用音声処理と推論能力を付与しながら、幅広いLLMの機能を維持します。これには、厳選されたペアデータを一切使用しません。提案モデルは、テキストの代わりに音声プロンプトを利用し、会話を継続することができます。また、このモデルは拡張されたクロスモーダル能力を有しており、音声質問応答、音声翻訳、音声要約など、多くのクローズドドメインおよびオープンドメインタスクを実行できます。これは、LLMを音声処理に拡張する従来のアプローチとは異なり、限られた事前設計タスクのみを扱うものでした。実験結果から、エンドツーエンドアプローチは、プロンプトへの応答モデリングにおいて、カスケードシステム（音声認識器＋LLM）と同等かそれ以上の性能を示すことがわかりました。さらに、カスケードシステムとは異なり、本アプローチはテキストと音声モダリティを交換し、会話の前文脈を活用してより良い結果を提供する能力を示しています。

English

In this work, we extend the instruction-tuned Llama-2 model with end-to-end general-purpose speech processing and reasoning abilities while maintaining the wide range of LLM capabilities, without using any carefully curated paired data. The proposed model can utilize audio prompts as a replacement for text and sustain a conversation. Such a model also has extended cross-modal capabilities such as being able to perform speech question answering, speech translation, and audio summarization amongst many other closed and open-domain tasks. This is unlike prior approaches in speech, in which LLMs are extended to handle audio for a limited number of pre-designated tasks. Experiments show that our end-to-end approach is on par with or outperforms a cascaded system (speech recognizer + LLM) in terms of modeling the response to a prompt. Furthermore, unlike a cascade, our approach shows the ability to interchange text and audio modalities and utilize the prior context in a conversation to provide better results.

大規模言語モデルにおける汎用音声能力の実現に向けて：非ペアデータの活用

Towards General-Purpose Speech Abilities for Large Language Models Using Unpaired Data

要旨

Support