Mini-Gemini: Erschließung des Potenzials von Multimodalitäts-Vision-Sprache-Modellen

Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

March 27, 2024

Autoren: Yanwei Li, Yuechen Zhang, Chengyao Wang, Zhisheng Zhong, Yixin Chen, Ruihang Chu, Shaoteng Liu, Jiaya Jia

cs.AI

Zusammenfassung

In dieser Arbeit stellen wir Mini-Gemini vor, ein einfaches und effektives Framework zur Verbesserung von Multimodal Vision Language Models (VLMs). Trotz der Fortschritte bei VLMs, die grundlegende visuelle Dialoge und Schlussfolgerungen ermöglichen, besteht im Vergleich zu fortschrittlichen Modellen wie GPT-4 und Gemini weiterhin eine Leistungslücke. Wir versuchen, diese Lücke zu verringern, indem wir das Potenzial von VLMs für bessere Leistung und einen beliebigen Arbeitsablauf aus drei Aspekten herausarbeiten, nämlich hochauflösende visuelle Tokens, hochwertige Daten und VLM-geführte Generierung. Um die visuellen Tokens zu verbessern, schlagen wir vor, einen zusätzlichen visuellen Encoder zur hochauflösenden Verfeinerung zu nutzen, ohne die Anzahl der visuellen Tokens zu erhöhen. Darüber hinaus erstellen wir einen hochwertigen Datensatz, der präzises Bildverständnis und schlussfolgerungsbasierte Generierung fördert und den operationellen Bereich der aktuellen VLMs erweitert. Insgesamt erschließt Mini-Gemini das Potenzial von VLMs weiter und stärkt aktuelle Frameworks gleichzeitig mit Bildverständnis, Schlussfolgerung und Generierung. Mini-Gemini unterstützt eine Reihe von dichten und MoE Large Language Models (LLMs) von 2B bis 34B. Es hat sich gezeigt, dass es führende Leistungen in mehreren Zero-Shot-Benchmarks erzielt und sogar die entwickelten privaten Modelle übertrifft. Code und Modelle sind verfügbar unter https://github.com/dvlab-research/MiniGemini.

English

In this work, we introduce Mini-Gemini, a simple and effective framework enhancing multi-modality Vision Language Models (VLMs). Despite the advancements in VLMs facilitating basic visual dialog and reasoning, a performance gap persists compared to advanced models like GPT-4 and Gemini. We try to narrow the gap by mining the potential of VLMs for better performance and any-to-any workflow from three aspects, i.e., high-resolution visual tokens, high-quality data, and VLM-guided generation. To enhance visual tokens, we propose to utilize an additional visual encoder for high-resolution refinement without increasing the visual token count. We further construct a high-quality dataset that promotes precise image comprehension and reasoning-based generation, expanding the operational scope of current VLMs. In general, Mini-Gemini further mines the potential of VLMs and empowers current frameworks with image understanding, reasoning, and generation simultaneously. Mini-Gemini supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B. It is demonstrated to achieve leading performance in several zero-shot benchmarks and even surpasses the developed private models. Code and models are available at https://github.com/dvlab-research/MiniGemini.