MMIU : Compréhension multimodale multi-images pour l'évaluation des grands modèles vision-langage

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

August 5, 2024

Auteurs: Fanqing Meng, Jin Wang, Chuanhao Li, Quanfeng Lu, Hao Tian, Jiaqi Liao, Xizhou Zhu, Jifeng Dai, Yu Qiao, Ping Luo, Kaipeng Zhang, Wenqi Shao

cs.AI

Résumé

La capacité à traiter plusieurs images est cruciale pour les Grands Modèles Vision-Langage (LVLMs) afin de développer une compréhension plus approfondie et nuancée d'une scène. Les récents LVLMs multi-images ont commencé à répondre à ce besoin. Cependant, leur évaluation n'a pas suivi le rythme de leur développement. Pour combler cette lacune, nous introduisons le benchmark Multimodal Multi-image Understanding (MMIU), une suite d'évaluation complète conçue pour évaluer les LVLMs sur une large gamme de tâches multi-images. MMIU englobe 7 types de relations multi-images, 52 tâches, 77K images et 11K questions à choix multiples soigneusement élaborées, ce qui en fait le benchmark le plus étendu de son genre. Notre évaluation de 24 LVLMs populaires, incluant à la fois des modèles open-source et propriétaires, révèle des défis significatifs dans la compréhension multi-image, en particulier dans les tâches impliquant la compréhension spatiale. Même les modèles les plus avancés, tels que GPT-4o, n'atteignent qu'une précision de 55,7 % sur MMIU. À travers des expériences analytiques multidimensionnelles, nous identifions les lacunes et limitations clés en matière de performance, fournissant des insights précieux pour les futures améliorations des modèles et des données. Nous visons à ce que MMIU fasse progresser la recherche et le développement des LVLMs, nous rapprochant ainsi d'interactions utilisateur multimodales multi-images sophistiquées.

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.