MultiModal-GPT: Un modelo de visión y lenguaje para diálogo con humanos
MultiModal-GPT: A Vision and Language Model for Dialogue with Humans
May 8, 2023
Autores: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI
Resumen
Presentamos un modelo de visión y lenguaje llamado MultiModal-GPT para llevar a cabo diálogos de múltiples turnos con humanos. MultiModal-GPT puede seguir diversas instrucciones de los usuarios, como generar descripciones detalladas, contar el número de objetos de interés y responder preguntas generales. MultiModal-GPT se ajusta de manera eficiente en parámetros a partir de OpenFlamingo, incorporando Low-rank Adapter (LoRA) tanto en la parte de atención cruzada como en la de auto-atención del modelo de lenguaje. Primero construimos plantillas de instrucciones con datos de visión y lenguaje para el ajuste de instrucciones multimodales, permitiendo que el modelo comprenda y siga las instrucciones humanas. Descubrimos que la calidad de los datos de entrenamiento es crucial para el rendimiento del diálogo, ya que pocos datos con respuestas breves pueden llevar al modelo a responder de manera concisa a cualquier instrucción. Para mejorar aún más la capacidad de MultiModal-GPT de conversar con humanos, utilizamos datos de seguimiento de instrucciones basados únicamente en lenguaje para entrenar conjuntamente el modelo. El entrenamiento conjunto de instrucciones basadas solo en lenguaje y en lenguaje visual con la misma plantilla de instrucciones mejora efectivamente el rendimiento del diálogo. Diversas demostraciones muestran la capacidad de MultiModal-GPT para mantener diálogos continuos con humanos. El código y las demostraciones están disponibles en https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct
multi-round dialogue with humans. MultiModal-GPT can follow various
instructions from humans, such as generating a detailed caption, counting the
number of interested objects, and answering general questions from users.
MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with
Low-rank Adapter (LoRA) added both in the cross-attention part and the
self-attention part of the language model. We first construct instruction
templates with vision and language data for multi-modality instruction tuning
to make the model understand and follow human instructions. We find the quality
of training data is vital for the dialogue performance, where few data
containing short answers can lead the model to respond shortly to any
instructions. To further enhance the ability to chat with humans of the
MultiModal-GPT, we utilize language-only instruction-following data to train
the MultiModal-GPT jointly. The joint training of language-only and
visual-language instructions with the same instruction template
effectively improves dialogue performance. Various demos show the ability of
continuous dialogue of MultiModal-GPT with humans. Code and demo are at
https://github.com/open-mmlab/Multimodal-GPT