SpeechGPT: 大規模言語モデルに本質的なクロスモーダル会話能力を付与する

SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities

May 18, 2023

著者: Dong Zhang, Shimin Li, Xin Zhang, Jun Zhan, Pengyu Wang, Yaqian Zhou, Xipeng Qiu

cs.AI

要旨

マルチモーダル大規模言語モデルは、人工汎用知能（AGI）に向けた重要なステップと見なされており、ChatGPTの登場により大きな注目を集めています。しかし、現在の音声言語モデルは通常、カスケードパラダイムを採用しており、モーダル間の知識転移を妨げています。本論文では、SpeechGPTを提案します。これは、本質的なクロスモーダル会話能力を備えた大規模言語モデルであり、マルチモーダルコンテンツを認識し生成することができます。離散音声表現を用いて、まず大規模なクロスモーダル音声指示データセットであるSpeechInstructを構築します。さらに、モーダル適応事前学習、クロスモーダル指示ファインチューニング、およびモーダル連鎖指示ファインチューニングを含む三段階の学習戦略を採用します。実験結果は、SpeechGPTがマルチモーダルな人間の指示に従う印象的な能力を持ち、一つのモデルで複数のモーダルを扱う可能性を強調しています。デモはhttps://0nutation.github.io/SpeechGPT.github.io/で公開されています。

English

Multi-modal large language models are regarded as a crucial step towards Artificial General Intelligence (AGI) and have garnered significant interest with the emergence of ChatGPT. However, current speech-language models typically adopt the cascade paradigm, preventing inter-modal knowledge transfer. In this paper, we propose SpeechGPT, a large language model with intrinsic cross-modal conversational abilities, capable of perceiving and generating multi-model content. With discrete speech representations, we first construct SpeechInstruct, a large-scale cross-modal speech instruction dataset. Additionally, we employ a three-stage training strategy that includes modality-adaptation pre-training, cross-modal instruction fine-tuning, and chain-of-modality instruction fine-tuning. The experimental results demonstrate that SpeechGPT has an impressive capacity to follow multi-modal human instructions and highlight the potential of handling multiple modalities with one model. Demos are shown in https://0nutation.github.io/SpeechGPT.github.io/.