Mini-Gemini: Explotando el Potencial de los Modelos de Lenguaje y Visión Multimodales

Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

March 27, 2024

Autores: Yanwei Li, Yuechen Zhang, Chengyao Wang, Zhisheng Zhong, Yixin Chen, Ruihang Chu, Shaoteng Liu, Jiaya Jia

cs.AI

Resumen

En este trabajo, presentamos Mini-Gemini, un marco simple y efectivo que mejora los Modelos de Lenguaje Visual (VLMs) multimodales. A pesar de los avances en los VLMs que facilitan el diálogo visual básico y el razonamiento, persiste una brecha de rendimiento en comparación con modelos avanzados como GPT-4 y Gemini. Intentamos reducir esta brecha explotando el potencial de los VLMs para un mejor rendimiento y un flujo de trabajo de cualquier-a-cualquier desde tres aspectos: tokens visuales de alta resolución, datos de alta calidad y generación guiada por VLM. Para mejorar los tokens visuales, proponemos utilizar un codificador visual adicional para el refinamiento de alta resolución sin aumentar el número de tokens visuales. Además, construimos un conjunto de datos de alta calidad que promueve una comprensión precisa de las imágenes y una generación basada en el razonamiento, ampliando el alcance operativo de los VLMs actuales. En general, Mini-Gemini explota aún más el potencial de los VLMs y potencia los marcos actuales con comprensión de imágenes, razonamiento y generación simultáneamente. Mini-Gemini admite una serie de Modelos de Lenguaje de Gran Escala (LLMs) densos y MoE desde 2B hasta 34B. Se demuestra que logra un rendimiento líder en varios benchmarks de zero-shot e incluso supera a los modelos privados desarrollados. El código y los modelos están disponibles en https://github.com/dvlab-research/MiniGemini.

English

In this work, we introduce Mini-Gemini, a simple and effective framework enhancing multi-modality Vision Language Models (VLMs). Despite the advancements in VLMs facilitating basic visual dialog and reasoning, a performance gap persists compared to advanced models like GPT-4 and Gemini. We try to narrow the gap by mining the potential of VLMs for better performance and any-to-any workflow from three aspects, i.e., high-resolution visual tokens, high-quality data, and VLM-guided generation. To enhance visual tokens, we propose to utilize an additional visual encoder for high-resolution refinement without increasing the visual token count. We further construct a high-quality dataset that promotes precise image comprehension and reasoning-based generation, expanding the operational scope of current VLMs. In general, Mini-Gemini further mines the potential of VLMs and empowers current frameworks with image understanding, reasoning, and generation simultaneously. Mini-Gemini supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B. It is demonstrated to achieve leading performance in several zero-shot benchmarks and even surpasses the developed private models. Code and models are available at https://github.com/dvlab-research/MiniGemini.