SpeechGPT: Расширение возможностей крупных языковых моделей за счет внутренних кросс-модальных диалоговых способностей

SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities

May 18, 2023

Авторы: Dong Zhang, Shimin Li, Xin Zhang, Jun Zhan, Pengyu Wang, Yaqian Zhou, Xipeng Qiu

cs.AI

Аннотация

Мультимодальные большие языковые модели рассматриваются как важный шаг на пути к созданию искусственного общего интеллекта (AGI) и привлекли значительный интерес с появлением ChatGPT. Однако современные речевые языковые модели обычно используют каскадный подход, что препятствует передаче знаний между модальностями. В данной работе мы представляем SpeechGPT — большую языковую модель с внутренними кросс-модальными диалоговыми способностями, способную воспринимать и генерировать мультимодальный контент. Используя дискретные речевые представления, мы сначала создаем SpeechInstruct — крупномасштабный набор данных для кросс-модальных речевых инструкций. Кроме того, мы применяем трехэтапную стратегию обучения, включающую предварительное обучение для адаптации к модальностям, тонкую настройку на кросс-модальных инструкциях и тонкую настройку на цепочках модальностей. Результаты экспериментов демонстрируют впечатляющую способность SpeechGPT следовать мультимодальным человеческим инструкциям и подчеркивают потенциал обработки нескольких модальностей одной моделью. Демонстрации доступны по ссылке: https://0nutation.github.io/SpeechGPT.github.io/.

English

Multi-modal large language models are regarded as a crucial step towards Artificial General Intelligence (AGI) and have garnered significant interest with the emergence of ChatGPT. However, current speech-language models typically adopt the cascade paradigm, preventing inter-modal knowledge transfer. In this paper, we propose SpeechGPT, a large language model with intrinsic cross-modal conversational abilities, capable of perceiving and generating multi-model content. With discrete speech representations, we first construct SpeechInstruct, a large-scale cross-modal speech instruction dataset. Additionally, we employ a three-stage training strategy that includes modality-adaptation pre-training, cross-modal instruction fine-tuning, and chain-of-modality instruction fine-tuning. The experimental results demonstrate that SpeechGPT has an impressive capacity to follow multi-modal human instructions and highlight the potential of handling multiple modalities with one model. Demos are shown in https://0nutation.github.io/SpeechGPT.github.io/.