MultiModal-GPT: Модель для обработки визуальной и текстовой информации в диалогах с людьми
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Авторы: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Аннотация
Мы представляем модель для обработки зрения и языка под названием MultiModal-GPT, способную вести многораундовый диалог с людьми. MultiModal-GPT может выполнять различные инструкции от пользователей, такие как генерация подробного описания, подсчет количества интересующих объектов и ответы на общие вопросы. Модель эффективно дообучена на основе OpenFlamingo с добавлением Low-rank Adapter (LoRA) как в части кросс-внимания, так и в части самовнимания языковой модели. Сначала мы создаем шаблоны инструкций с использованием данных по зрению и языку для настройки модели на выполнение мультимодальных инструкций, чтобы она могла понимать и следовать указаниям человека. Мы обнаружили, что качество обучающих данных критически важно для производительности диалога, так как небольшое количество данных с короткими ответами может привести к тому, что модель будет кратко отвечать на любые инструкции. Для дальнейшего улучшения способности MultiModal-GPT к общению с людьми мы используем данные, содержащие только языковые инструкции, для совместного обучения модели. Совместное обучение на данных с языковыми и визуально-языковыми инструкциями с использованием одного и того же шаблона инструкций эффективно повышает качество диалога. Различные демонстрации показывают способность MultiModal-GPT к непрерывному диалогу с людьми. Код и демо доступны по адресу https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT