MiniGPT-v2: modelo de linguagem de grande escala como uma interface unificada para aprendizado multitarefa em visão e linguagem

MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning

October 14, 2023

Autores: Jun Chen, Deyao Zhu, Xiaoqian Shen, Xiang Li, Zechun Liu, Pengchuan Zhang, Raghuraman Krishnamoorthi, Vikas Chandra, Yunyang Xiong, Mohamed Elhoseiny

cs.AI

Resumo

Modelos de linguagem de grande escala demonstraram suas notáveis capacidades como uma interface geral para diversas aplicações relacionadas à linguagem. Motivados por isso, nosso objetivo é construir uma interface unificada para a execução de várias tarefas visão-linguagem, incluindo descrição de imagens, resposta a perguntas visuais e fundamentação visual, entre outras. O desafio é utilizar um único modelo para realizar eficazmente tarefas diversas de visão-linguagem com instruções multimodais simples. Para alcançar esse objetivo, apresentamos o MiniGPT-v2, um modelo que pode ser tratado como uma interface unificada para lidar melhor com várias tarefas de visão-linguagem. Propomos o uso de identificadores únicos para diferentes tarefas durante o treinamento do modelo. Esses identificadores permitem que nosso modelo distinga cada instrução de tarefa com facilidade e também melhorem a eficiência de aprendizado do modelo para cada tarefa. Após o treinamento em três estágios, os resultados experimentais mostram que o MiniGPT-v2 alcança um desempenho robusto em diversos benchmarks de resposta a perguntas visuais e fundamentação visual em comparação com outros modelos generalistas de visão-linguagem. Nosso modelo e códigos estão disponíveis em https://minigpt-v2.github.io/.

English

Large language models have shown their remarkable capabilities as a general interface for various language-related applications. Motivated by this, we target to build a unified interface for completing many vision-language tasks including image description, visual question answering, and visual grounding, among others. The challenge is to use a single model for performing diverse vision-language tasks effectively with simple multi-modal instructions. Towards this objective, we introduce MiniGPT-v2, a model that can be treated as a unified interface for better handling various vision-language tasks. We propose using unique identifiers for different tasks when training the model. These identifiers enable our model to better distinguish each task instruction effortlessly and also improve the model learning efficiency for each task. After the three-stage training, the experimental results show that MiniGPT-v2 achieves strong performance on many visual question-answering and visual grounding benchmarks compared to other vision-language generalist models. Our model and codes are available at https://minigpt-v2.github.io/