MMIU: Comprensione Multimodale di Immagini Multiple per la Valutazione di Modelli Linguistico-Visuali di Grandi Dimensioni

Abstract

La capacità di elaborare più immagini è cruciale affinché i Large Vision-Language Models (LVLM) sviluppino una comprensione più approfondita e sfumata di una scena. Recenti LVLM multi-immagine hanno iniziato a soddisfare questa esigenza. Tuttavia, la loro valutazione non ha tenuto il passo con il loro sviluppo. Per colmare questa lacuna, introduciamo il benchmark Multimodal Multi-image Understanding (MMIU), una suite di valutazione completa progettata per valutare i LVLM su un'ampia gamma di attività multi-immagine. MMIU comprende 7 tipi di relazioni multi-immagine, 52 attività, 77K immagini e 11K domande a scelta multipla accuratamente curate, rendendolo il benchmark più esteso nel suo genere. La nostra valutazione di 24 LVLM popolari, inclusi sia modelli open-source che proprietari, rivela sfide significative nella comprensione multi-immagine, in particolare nelle attività che coinvolgono la comprensione spaziale. Anche i modelli più avanzati, come GPT-4o, raggiungono solo il 55,7% di accuratezza su MMIU. Attraverso esperimenti analitici multifaccettati, identifichiamo i principali gap di prestazioni e limitazioni, fornendo spunti preziosi per futuri miglioramenti di modelli e dati. Il nostro obiettivo è che MMIU avanzi la frontiera della ricerca e dello sviluppo dei LVLM, avvicinandoci al raggiungimento di sofisticate interazioni utente multimodali multi-immagine.

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.

MMIU: Comprensione Multimodale di Immagini Multiple per la Valutazione di Modelli Linguistico-Visuali di Grandi Dimensioni

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

Abstract

Support