SpeechGPT: Potenziamento dei Modelli Linguistici di Grande Scala con Capacità Conversazionali Intrinseche Cross-Modali

SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities

May 18, 2023

Autori: Dong Zhang, Shimin Li, Xin Zhang, Jun Zhan, Pengyu Wang, Yaqian Zhou, Xipeng Qiu

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni sono considerati un passo cruciale verso l'Intelligenza Artificiale Generale (AGI) e hanno attirato un notevole interesse con l'emergere di ChatGPT. Tuttavia, gli attuali modelli di linguaggio vocale adottano tipicamente il paradigma a cascata, impedendo il trasferimento di conoscenze intermodali. In questo articolo, proponiamo SpeechGPT, un modello linguistico di grandi dimensioni con capacità intrinseche di conversazione cross-modale, in grado di percepire e generare contenuti multimodali. Utilizzando rappresentazioni vocali discrete, costruiamo prima SpeechInstruct, un ampio dataset di istruzioni vocali cross-modali. Inoltre, impieghiamo una strategia di addestramento in tre fasi che include pre-addestramento di adattamento modale, fine-tuning delle istruzioni cross-modali e fine-tuning delle istruzioni a catena di modalità. I risultati sperimentali dimostrano che SpeechGPT ha una notevole capacità di seguire istruzioni umane multimodali e mettono in luce il potenziale di gestione di più modalità con un unico modello. Le demo sono disponibili su https://0nutation.github.io/SpeechGPT.github.io/.

English

Multi-modal large language models are regarded as a crucial step towards Artificial General Intelligence (AGI) and have garnered significant interest with the emergence of ChatGPT. However, current speech-language models typically adopt the cascade paradigm, preventing inter-modal knowledge transfer. In this paper, we propose SpeechGPT, a large language model with intrinsic cross-modal conversational abilities, capable of perceiving and generating multi-model content. With discrete speech representations, we first construct SpeechInstruct, a large-scale cross-modal speech instruction dataset. Additionally, we employ a three-stage training strategy that includes modality-adaptation pre-training, cross-modal instruction fine-tuning, and chain-of-modality instruction fine-tuning. The experimental results demonstrate that SpeechGPT has an impressive capacity to follow multi-modal human instructions and highlight the potential of handling multiple modalities with one model. Demos are shown in https://0nutation.github.io/SpeechGPT.github.io/.