MultiModal-GPT: Um Modelo de Visão e Linguagem para Diálogo com Humanos
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Autores: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Resumo
Apresentamos um modelo de visão e linguagem chamado MultiModal-GPT para conduzir diálogos multi-turnos com humanos. O MultiModal-GPT pode seguir várias instruções de humanos, como gerar uma descrição detalhada, contar o número de objetos de interesse e responder a perguntas gerais dos usuários. O MultiModal-GPT é ajustado de forma eficiente em parâmetros a partir do OpenFlamingo, com o Low-rank Adapter (LoRA) adicionado tanto na parte de atenção cruzada quanto na parte de auto-atenção do modelo de linguagem. Primeiro, construímos templates de instruções com dados de visão e linguagem para o ajuste de instruções multi-modais, a fim de fazer o modelo entender e seguir as instruções humanas. Descobrimos que a qualidade dos dados de treinamento é crucial para o desempenho do diálogo, onde poucos dados contendo respostas curtas podem levar o modelo a responder de forma breve a qualquer instrução. Para aprimorar ainda mais a capacidade de conversar com humanos do MultiModal-GPT, utilizamos dados de instruções apenas de linguagem para treinar o MultiModal-GPT de forma conjunta. O treinamento conjunto de instruções apenas de linguagem e instruções visuais-linguísticas com o mesmo template de instrução melhora efetivamente o desempenho do diálogo. Várias demonstrações mostram a capacidade de diálogo contínuo do MultiModal-GPT com humanos. O código e a demonstração estão disponíveis em https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT