MultiModal-GPT : Un modèle de vision et de langage pour le dialogue avec les humains
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Auteurs: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Résumé
Nous présentons un modèle vision et langage nommé MultiModal-GPT, conçu pour mener des dialogues multi-tours avec les humains. MultiModal-GPT est capable de suivre diverses instructions humaines, telles que générer une description détaillée, compter le nombre d'objets d'intérêt, et répondre à des questions générales des utilisateurs. MultiModal-GPT est affiné de manière paramétriquement efficace à partir d'OpenFlamingo, avec l'ajout d'adaptateurs de bas rang (LoRA) à la fois dans la partie d'attention croisée et dans la partie d'auto-attention du modèle de langage. Nous construisons d'abord des modèles d'instructions avec des données visuelles et linguistiques pour l'ajustement d'instructions multi-modales, afin que le modèle comprenne et suive les instructions humaines. Nous constatons que la qualité des données d'entraînement est cruciale pour les performances du dialogue, où peu de données contenant des réponses courtes peuvent amener le modèle à répondre brièvement à toute instruction. Pour améliorer davantage la capacité de MultiModal-GPT à dialoguer avec les humains, nous utilisons des données d'instructions uniquement linguistiques pour entraîner conjointement MultiModal-GPT. L'entraînement conjoint d'instructions uniquement linguistiques et d'instructions visuelles-linguistiques avec le même modèle d'instruction améliore efficacement les performances du dialogue. Diverses démonstrations montrent la capacité de MultiModal-GPT à dialoguer de manière continue avec les humains. Le code et la démo sont disponibles à l'adresse https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT