ChatPaper.aiChatPaper

MultiModal-GPT: Un modelo de visión y lenguaje para diálogo con humanos

MultiModal-GPT: A Vision and Language Model for Dialogue with Humans

May 8, 2023
Autores: Tao Gong, Chengqi Lyu, Shilong Zhang, Yudong Wang, Miao Zheng, Qian Zhao, Kuikun Liu, Wenwei Zhang, Ping Luo, Kai Chen
cs.AI

Resumen

Presentamos un modelo de visión y lenguaje llamado MultiModal-GPT para llevar a cabo diálogos de múltiples turnos con humanos. MultiModal-GPT puede seguir diversas instrucciones de los usuarios, como generar descripciones detalladas, contar el número de objetos de interés y responder preguntas generales. MultiModal-GPT se ajusta de manera eficiente en parámetros a partir de OpenFlamingo, incorporando Low-rank Adapter (LoRA) tanto en la parte de atención cruzada como en la de auto-atención del modelo de lenguaje. Primero construimos plantillas de instrucciones con datos de visión y lenguaje para el ajuste de instrucciones multimodales, permitiendo que el modelo comprenda y siga las instrucciones humanas. Descubrimos que la calidad de los datos de entrenamiento es crucial para el rendimiento del diálogo, ya que pocos datos con respuestas breves pueden llevar al modelo a responder de manera concisa a cualquier instrucción. Para mejorar aún más la capacidad de MultiModal-GPT de conversar con humanos, utilizamos datos de seguimiento de instrucciones basados únicamente en lenguaje para entrenar conjuntamente el modelo. El entrenamiento conjunto de instrucciones basadas solo en lenguaje y en lenguaje visual con la misma plantilla de instrucciones mejora efectivamente el rendimiento del diálogo. Diversas demostraciones muestran la capacidad de MultiModal-GPT para mantener diálogos continuos con humanos. El código y las demostraciones están disponibles en https://github.com/open-mmlab/Multimodal-GPT.
English
We present a vision and language model named MultiModal-GPT to conduct multi-round dialogue with humans. MultiModal-GPT can follow various instructions from humans, such as generating a detailed caption, counting the number of interested objects, and answering general questions from users. MultiModal-GPT is parameter-efficiently fine-tuned from OpenFlamingo, with Low-rank Adapter (LoRA) added both in the cross-attention part and the self-attention part of the language model. We first construct instruction templates with vision and language data for multi-modality instruction tuning to make the model understand and follow human instructions. We find the quality of training data is vital for the dialogue performance, where few data containing short answers can lead the model to respond shortly to any instructions. To further enhance the ability to chat with humans of the MultiModal-GPT, we utilize language-only instruction-following data to train the MultiModal-GPT jointly. The joint training of language-only and visual-language instructions with the same instruction template effectively improves dialogue performance. Various demos show the ability of continuous dialogue of MultiModal-GPT with humans. Code and demo are at https://github.com/open-mmlab/Multimodal-GPT
PDF14December 15, 2024