Mini-Gemini: Sfruttare il Potenziale dei Modelli Visione-Linguaggio Multimodali

Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

March 27, 2024

Autori: Yanwei Li, Yuechen Zhang, Chengyao Wang, Zhisheng Zhong, Yixin Chen, Ruihang Chu, Shaoteng Liu, Jiaya Jia

cs.AI

Abstract

In questo lavoro, introduciamo Mini-Gemini, un framework semplice ed efficace per potenziare i modelli linguistico-visivi multimodali (VLMs). Nonostante i progressi nei VLMs che facilitano dialoghi visivi di base e ragionamenti, persiste un divario prestazionale rispetto a modelli avanzati come GPT-4 e Gemini. Cerchiamo di ridurre questo divario sfruttando il potenziale dei VLMs per ottenere prestazioni migliori e un flusso di lavoro any-to-any da tre aspetti, ovvero token visivi ad alta risoluzione, dati di alta qualità e generazione guidata da VLM. Per migliorare i token visivi, proponiamo di utilizzare un encoder visivo aggiuntivo per il perfezionamento ad alta risoluzione senza aumentare il numero di token visivi. Inoltre, costruiamo un dataset di alta qualità che promuove una comprensione precisa delle immagini e una generazione basata sul ragionamento, ampliando l'ambito operativo degli attuali VLMs. In generale, Mini-Gemini sfrutta ulteriormente il potenziale dei VLMs e potenzia i framework attuali con comprensione delle immagini, ragionamento e generazione simultaneamente. Mini-Gemini supporta una serie di modelli linguistici di grandi dimensioni (LLMs) densi e MoE da 2B a 34B. È dimostrato che raggiunge prestazioni leader in diversi benchmark zero-shot e supera persino i modelli privati sviluppati. Codice e modelli sono disponibili su https://github.com/dvlab-research/MiniGemini.

English

In this work, we introduce Mini-Gemini, a simple and effective framework enhancing multi-modality Vision Language Models (VLMs). Despite the advancements in VLMs facilitating basic visual dialog and reasoning, a performance gap persists compared to advanced models like GPT-4 and Gemini. We try to narrow the gap by mining the potential of VLMs for better performance and any-to-any workflow from three aspects, i.e., high-resolution visual tokens, high-quality data, and VLM-guided generation. To enhance visual tokens, we propose to utilize an additional visual encoder for high-resolution refinement without increasing the visual token count. We further construct a high-quality dataset that promotes precise image comprehension and reasoning-based generation, expanding the operational scope of current VLMs. In general, Mini-Gemini further mines the potential of VLMs and empowers current frameworks with image understanding, reasoning, and generation simultaneously. Mini-Gemini supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B. It is demonstrated to achieve leading performance in several zero-shot benchmarks and even surpasses the developed private models. Code and models are available at https://github.com/dvlab-research/MiniGemini.