MiniGPT-v2 : modèle de langage de grande taille comme interface unifiée pour l'apprentissage multitâche vision-langage

MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning

October 14, 2023

Auteurs: Jun Chen, Deyao Zhu, Xiaoqian Shen, Xiang Li, Zechun Liu, Pengchuan Zhang, Raghuraman Krishnamoorthi, Vikas Chandra, Yunyang Xiong, Mohamed Elhoseiny

cs.AI

Résumé

Les grands modèles de langage ont démontré leurs capacités remarquables en tant qu'interface générale pour diverses applications liées au langage. Motivés par cela, nous visons à construire une interface unifiée pour accomplir de nombreuses tâches vision-langage, notamment la description d'images, la réponse à des questions visuelles et l'ancrage visuel, entre autres. Le défi consiste à utiliser un seul modèle pour effectuer efficacement des tâches vision-langage variées avec des instructions multimodales simples. Dans cet objectif, nous présentons MiniGPT-v2, un modèle qui peut être considéré comme une interface unifiée pour mieux gérer diverses tâches vision-langage. Nous proposons d'utiliser des identifiants uniques pour différentes tâches lors de l'entraînement du modèle. Ces identifiants permettent à notre modèle de mieux distinguer chaque instruction de tâche sans effort et améliorent également l'efficacité d'apprentissage du modèle pour chaque tâche. Après un entraînement en trois étapes, les résultats expérimentaux montrent que MiniGPT-v2 obtient des performances solides sur de nombreux benchmarks de réponse à des questions visuelles et d'ancrage visuel par rapport à d'autres modèles généralistes vision-langage. Notre modèle et les codes sont disponibles à l'adresse https://minigpt-v2.github.io/

English

Large language models have shown their remarkable capabilities as a general interface for various language-related applications. Motivated by this, we target to build a unified interface for completing many vision-language tasks including image description, visual question answering, and visual grounding, among others. The challenge is to use a single model for performing diverse vision-language tasks effectively with simple multi-modal instructions. Towards this objective, we introduce MiniGPT-v2, a model that can be treated as a unified interface for better handling various vision-language tasks. We propose using unique identifiers for different tasks when training the model. These identifiers enable our model to better distinguish each task instruction effortlessly and also improve the model learning efficiency for each task. After the three-stage training, the experimental results show that MiniGPT-v2 achieves strong performance on many visual question-answering and visual grounding benchmarks compared to other vision-language generalist models. Our model and codes are available at https://minigpt-v2.github.io/