Mini-Gemini : Exploiter le potentiel des modèles vision-langage multimodaux

Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models

March 27, 2024

Auteurs: Yanwei Li, Yuechen Zhang, Chengyao Wang, Zhisheng Zhong, Yixin Chen, Ruihang Chu, Shaoteng Liu, Jiaya Jia

cs.AI

Résumé

Dans ce travail, nous présentons Mini-Gemini, un cadre simple et efficace pour améliorer les modèles de langage visuel (VLMs) multimodaux. Malgré les avancées des VLMs facilitant les dialogues visuels de base et le raisonnement, un écart de performance persiste par rapport aux modèles avancés comme GPT-4 et Gemini. Nous cherchons à réduire cet écart en exploitant le potentiel des VLMs pour une meilleure performance et un flux de travail universel à travers trois aspects : les tokens visuels haute résolution, les données de haute qualité, et la génération guidée par VLM. Pour améliorer les tokens visuels, nous proposons d'utiliser un encodeur visuel supplémentaire pour un raffinement haute résolution sans augmenter le nombre de tokens visuels. Nous construisons également un ensemble de données de haute qualité qui favorise une compréhension précise des images et une génération basée sur le raisonnement, élargissant ainsi le champ d'application des VLMs actuels. En général, Mini-Gemini exploite davantage le potentiel des VLMs et renforce les cadres actuels avec la compréhension, le raisonnement et la génération d'images simultanément. Mini-Gemini prend en charge une série de modèles de langage massifs (LLMs) denses et MoE, allant de 2B à 34B. Il démontre des performances de pointe dans plusieurs benchmarks en zero-shot et dépasse même les modèles privés développés. Le code et les modèles sont disponibles à l'adresse https://github.com/dvlab-research/MiniGemini.

English

In this work, we introduce Mini-Gemini, a simple and effective framework enhancing multi-modality Vision Language Models (VLMs). Despite the advancements in VLMs facilitating basic visual dialog and reasoning, a performance gap persists compared to advanced models like GPT-4 and Gemini. We try to narrow the gap by mining the potential of VLMs for better performance and any-to-any workflow from three aspects, i.e., high-resolution visual tokens, high-quality data, and VLM-guided generation. To enhance visual tokens, we propose to utilize an additional visual encoder for high-resolution refinement without increasing the visual token count. We further construct a high-quality dataset that promotes precise image comprehension and reasoning-based generation, expanding the operational scope of current VLMs. In general, Mini-Gemini further mines the potential of VLMs and empowers current frameworks with image understanding, reasoning, and generation simultaneously. Mini-Gemini supports a series of dense and MoE Large Language Models (LLMs) from 2B to 34B. It is demonstrated to achieve leading performance in several zero-shot benchmarks and even surpasses the developed private models. Code and models are available at https://github.com/dvlab-research/MiniGemini.