MMIU: Comprensión Multimodal Multi-imagen para Evaluar Modelos de Visión-Lenguaje Grandes

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

August 5, 2024

Autores: Fanqing Meng, Jin Wang, Chuanhao Li, Quanfeng Lu, Hao Tian, Jiaqi Liao, Xizhou Zhu, Jifeng Dai, Yu Qiao, Ping Luo, Kaipeng Zhang, Wenqi Shao

cs.AI

Resumen

La capacidad de procesar múltiples imágenes es crucial para que los Modelos de Visión-Lenguaje de Gran Tamaño (LVLMs) desarrollen una comprensión más exhaustiva y matizada de una escena. Los LVLMs multi-imagen recientes han comenzado a abordar esta necesidad. Sin embargo, su evaluación no ha seguido el ritmo de su desarrollo. Para llenar este vacío, presentamos el benchmark de Comprensión Multimodal Multi-imagen (MMIU), una suite de evaluación integral diseñada para evaluar LVLMs en una amplia gama de tareas multi-imagen. MMIU abarca 7 tipos de relaciones multi-imagen, 52 tareas, 77K imágenes y 11K preguntas de opción múltiple meticulosamente seleccionadas, convirtiéndolo en el benchmark más extenso de su tipo. Nuestra evaluación de 24 LVLMs populares, incluyendo modelos de código abierto y propietarios, revela desafíos significativos en la comprensión multi-imagen, especialmente en tareas que involucran comprensión espacial. Incluso los modelos más avanzados, como GPT-4o, solo logran un 55.7% de precisión en MMIU. A través de experimentos analíticos multifacéticos, identificamos brechas de rendimiento clave y limitaciones, proporcionando ideas valiosas para futuras mejoras en modelos y datos. Nuestro objetivo es que MMIU avance en la frontera de la investigación y desarrollo de LVLMs, llevándonos hacia la consecución de interacciones de usuario sofisticadas multi-modales multi-imagen.

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.