MiniGPT-v2: Großes Sprachmodell als einheitliche Schnittstelle für Multi-Task-Lernen in der Vision-Sprache-Domäne

MiniGPT-v2: large language model as a unified interface for vision-language multi-task learning

October 14, 2023

Autoren: Jun Chen, Deyao Zhu, Xiaoqian Shen, Xiang Li, Zechun Liu, Pengchuan Zhang, Raghuraman Krishnamoorthi, Vikas Chandra, Yunyang Xiong, Mohamed Elhoseiny

cs.AI

Zusammenfassung

Große Sprachmodelle haben ihre bemerkenswerten Fähigkeiten als allgemeine Schnittstelle für verschiedene sprachbezogene Anwendungen unter Beweis gestellt. Motiviert durch diese Erkenntnis, streben wir an, eine einheitliche Schnittstelle für die Bewältigung zahlreicher Vision-Sprache-Aufgaben zu entwickeln, darunter Bildbeschreibung, visuelle Fragebeantwortung und visuelle Verankerung, um nur einige zu nennen. Die Herausforderung besteht darin, ein einziges Modell effektiv für diverse Vision-Sprache-Aufgaben mit einfachen multimodalen Anweisungen einzusetzen. Um dieses Ziel zu erreichen, stellen wir MiniGPT-v2 vor, ein Modell, das als einheitliche Schnittstelle für die bessere Handhabung verschiedener Vision-Sprache-Aufgaben dienen kann. Wir schlagen vor, bei der Schulung des Modells eindeutige Identifikatoren für verschiedene Aufgaben zu verwenden. Diese Identifikatoren ermöglichen es unserem Modell, jede Aufgabenanweisung mühelos besser zu unterscheiden und verbessern auch die Lernleistung des Modells für jede Aufgabe. Nach dem dreistufigen Trainingsprozess zeigen die experimentellen Ergebnisse, dass MiniGPT-v2 im Vergleich zu anderen allgemeinen Vision-Sprache-Modellen eine starke Leistung auf vielen Benchmarks für visuelle Fragebeantwortung und visuelle Verankerung erzielt. Unser Modell und die Codes sind unter https://minigpt-v2.github.io/ verfügbar.

English

Large language models have shown their remarkable capabilities as a general interface for various language-related applications. Motivated by this, we target to build a unified interface for completing many vision-language tasks including image description, visual question answering, and visual grounding, among others. The challenge is to use a single model for performing diverse vision-language tasks effectively with simple multi-modal instructions. Towards this objective, we introduce MiniGPT-v2, a model that can be treated as a unified interface for better handling various vision-language tasks. We propose using unique identifiers for different tasks when training the model. These identifiers enable our model to better distinguish each task instruction effortlessly and also improve the model learning efficiency for each task. After the three-stage training, the experimental results show that MiniGPT-v2 achieves strong performance on many visual question-answering and visual grounding benchmarks compared to other vision-language generalist models. Our model and codes are available at https://minigpt-v2.github.io/