SpeechGPT: Het versterken van grote taalmodelen met intrinsieke cross-modale gespreksvaardigheden

SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities

May 18, 2023

Auteurs: Dong Zhang, Shimin Li, Xin Zhang, Jun Zhan, Pengyu Wang, Yaqian Zhou, Xipeng Qiu

cs.AI

Samenvatting

Multi-modale grote taalmodellen worden beschouwd als een cruciale stap richting Artificial General Intelligence (AGI) en hebben aanzienlijke belangstelling gekregen met de opkomst van ChatGPT. Echter, huidige spraak-taalmodellen gebruiken doorgaans het cascade-paradigma, wat kennisoverdracht tussen modaliteiten voorkomt. In dit artikel stellen we SpeechGPT voor, een groot taalmodel met intrinsieke cross-modale gespreksvaardigheden, dat in staat is om multi-modale inhoud waar te nemen en te genereren. Met discrete spraakrepresentaties construeren we eerst SpeechInstruct, een grootschalige cross-modale spraakinstructiedataset. Daarnaast hanteren we een driestappen trainingsstrategie die bestaat uit modaliteitsadaptatie pre-training, cross-modale instructie fine-tuning en chain-of-modality instructie fine-tuning. De experimentele resultaten tonen aan dat SpeechGPT een indrukwekkend vermogen heeft om multi-modale menselijke instructies op te volgen en benadrukken het potentieel om meerdere modaliteiten met één model te verwerken. Demo's zijn te zien op https://0nutation.github.io/SpeechGPT.github.io/.

English

Multi-modal large language models are regarded as a crucial step towards Artificial General Intelligence (AGI) and have garnered significant interest with the emergence of ChatGPT. However, current speech-language models typically adopt the cascade paradigm, preventing inter-modal knowledge transfer. In this paper, we propose SpeechGPT, a large language model with intrinsic cross-modal conversational abilities, capable of perceiving and generating multi-model content. With discrete speech representations, we first construct SpeechInstruct, a large-scale cross-modal speech instruction dataset. Additionally, we employ a three-stage training strategy that includes modality-adaptation pre-training, cross-modal instruction fine-tuning, and chain-of-modality instruction fine-tuning. The experimental results demonstrate that SpeechGPT has an impressive capacity to follow multi-modal human instructions and highlight the potential of handling multiple modalities with one model. Demos are shown in https://0nutation.github.io/SpeechGPT.github.io/.