MultiModal-GPT: Ein Vision- und Sprachmodell für den Dialog mit Menschen
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Autoren: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Zusammenfassung
Wir stellen ein Vision- und Sprachmodell namens MultiModal-GPT vor, das mehrrundige Dialoge mit Menschen führen kann. MultiModal-GPT kann verschiedene Anweisungen von Menschen befolgen, wie das Generieren einer detaillierten Bildbeschreibung, das Zählen interessierter Objekte und das Beantworten allgemeiner Fragen von Nutzern. MultiModal-GPT wird parameter-effizient aus OpenFlamingo feinabgestimmt, wobei Low-rank Adapter (LoRA) sowohl im Cross-Attention-Teil als auch im Self-Attention-Teil des Sprachmodells hinzugefügt werden. Zunächst erstellen wir Instruktionsvorlagen mit visuellen und sprachlichen Daten für das Multimodal-Instruction-Tuning, um das Modell dazu zu befähigen, menschliche Anweisungen zu verstehen und zu befolgen. Wir stellen fest, dass die Qualität der Trainingsdaten entscheidend für die Dialogleistung ist, wobei wenige Daten mit kurzen Antworten dazu führen können, dass das Modell auf alle Anweisungen kurz antwortet. Um die Fähigkeit von MultiModal-GPT, mit Menschen zu chatten, weiter zu verbessern, nutzen wir sprachliche Instruktionsdaten, um MultiModal-GPT gemeinsam zu trainieren. Das gemeinsame Training von rein sprachlichen und visuell-sprachlichen Anweisungen mit derselben Instruktionsvorlage verbessert die Dialogleistung effektiv. Verschiedene Demos zeigen die Fähigkeit von MultiModal-GPT, kontinuierliche Dialoge mit Menschen zu führen. Code und Demo sind unter https://github.com/open-mmlab/Multimodal-GPT verfügbar.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT