MultiModal-GPT: Un Modello di Visione e Linguaggio per il Dialogo con gli Esseri Umani
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Autori: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Abstract
Presentiamo un modello di visione e linguaggio denominato MultiModal-GPT in grado di condurre dialoghi multi-turn con gli esseri umani. MultiModal-GPT può seguire varie istruzioni fornite dagli utenti, come generare descrizioni dettagliate, contare il numero di oggetti di interesse e rispondere a domande generali. MultiModal-GPT è stato ottimizzato in modo efficiente a livello di parametri a partire da OpenFlamingo, con l'aggiunta di Low-rank Adapter (LoRA) sia nella parte di cross-attention che in quella di self-attention del modello linguistico. Inizialmente, abbiamo costruito template di istruzioni con dati visivi e linguistici per il fine-tuning multi-modale delle istruzioni, al fine di far comprendere e seguire al modello le indicazioni umane. Abbiamo osservato che la qualità dei dati di addestramento è cruciale per le prestazioni dialogiche, poiché pochi dati contenenti risposte brevi possono portare il modello a rispondere in modo conciso a qualsiasi istruzione. Per migliorare ulteriormente la capacità di MultiModal-GPT di dialogare con gli esseri umani, abbiamo utilizzato dati di istruzioni esclusivamente linguistiche per addestrare congiuntamente il modello. L'addestramento combinato di istruzioni solo linguistiche e visivo-linguistiche con lo stesso template di istruzioni migliora efficacemente le prestazioni dialogiche. Diversi demo mostrano la capacità di MultiModal-GPT di sostenere dialoghi continui con gli esseri umani. Il codice e i demo sono disponibili su https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT