MiniGPT-v2: modelo de lenguaje grande como interfaz unificada para el aprendizaje multitarea de visión y lenguaje

MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning

October 14, 2023

Autores: Jun Chen, Deyao Zhu, Xiaoqian Shen, Xiang Li, Zechun Liu, Pengchuan Zhang, Raghuraman Krishnamoorthi, Vikas Chandra, Yunyang Xiong, Mohamed Elhoseiny

cs.AI

Resumen

Los grandes modelos de lenguaje han demostrado sus notables capacidades como una interfaz general para diversas aplicaciones relacionadas con el lenguaje. Motivados por esto, nuestro objetivo es construir una interfaz unificada para completar múltiples tareas de visión y lenguaje, incluyendo descripción de imágenes, respuesta a preguntas visuales y anclaje visual, entre otras. El desafío radica en utilizar un único modelo para realizar de manera efectiva diversas tareas de visión y lenguaje con instrucciones multimodales simples. Con este objetivo, presentamos MiniGPT-v2, un modelo que puede tratarse como una interfaz unificada para manejar mejor diversas tareas de visión y lenguaje. Proponemos el uso de identificadores únicos para diferentes tareas durante el entrenamiento del modelo. Estos identificadores permiten que nuestro modelo distinga cada instrucción de tarea sin esfuerzo y también mejora la eficiencia del aprendizaje del modelo para cada tarea. Después del entrenamiento en tres etapas, los resultados experimentales muestran que MiniGPT-v2 logra un rendimiento sólido en muchos puntos de referencia de respuesta a preguntas visuales y anclaje visual en comparación con otros modelos generalistas de visión y lenguaje. Nuestro modelo y códigos están disponibles en https://minigpt-v2.github.io/

English

Large language models have shown their remarkable capabilities as a general interface for various language-related applications. Motivated by this, we target to build a unified interface for completing many vision-language tasks including image description, visual question answering, and visual grounding, among others. The challenge is to use a single model for performing diverse vision-language tasks effectively with simple multi-modal instructions. Towards this objective, we introduce MiniGPT-v2, a model that can be treated as a unified interface for better handling various vision-language tasks. We propose using unique identifiers for different tasks when training the model. These identifiers enable our model to better distinguish each task instruction effortlessly and also improve the model learning efficiency for each task. After the three-stage training, the experimental results show that MiniGPT-v2 achieves strong performance on many visual question-answering and visual grounding benchmarks compared to other vision-language generalist models. Our model and codes are available at https://minigpt-v2.github.io/