MultiModal-GPT: Een Visueel en Taalmodel voor Dialoog met Mensen
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Auteurs: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Samenvatting
We presenteren een visie- en taalmodel genaamd MultiModal-GPT om meerronde dialogen met mensen te voeren. MultiModal-GPN kan verschillende instructies van mensen opvolgen, zoals het genereren van een gedetailleerde beschrijving, het tellen van het aantal interessante objecten en het beantwoorden van algemene vragen van gebruikers. MultiModal-GPT is parameter-efficiënt afgestemd vanuit OpenFlamingo, waarbij Low-rank Adapter (LoRA) zowel in het cross-attention deel als het self-attention deel van het taalmodel is toegevoegd. We construeren eerst instructiesjablonen met visie- en taalgegevens voor multi-modaliteit instructieafstemming om het model menselijke instructies te laten begrijpen en opvolgen. We ontdekken dat de kwaliteit van de trainingsgegevens cruciaal is voor de dialoogprestaties, waarbij weinig gegevens met korte antwoorden ertoe kunnen leiden dat het model kort reageert op elke instructie. Om het vermogen van MultiModal-GPT om met mensen te chatten verder te verbeteren, gebruiken we taal-enkel instructievolgende gegevens om MultiModal-GPT gezamenlijk te trainen. De gezamenlijke training van taal-enkel en visuele-taal instructies met hetzelfde instructiesjabloon verbetert de dialoogprestaties effectief. Diverse demo's tonen het vermogen van MultiModal-GPT om continue dialogen met mensen te voeren. Code en demo zijn te vinden op https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT