MMIU: Multimodale Multi-beeldbegrip voor de Evaluatie van Grote Visie-Taalmodellen

Samenvatting

Het vermogen om meerdere afbeeldingen te verwerken is cruciaal voor Grote Vision-Taalmodellen (LVLMs) om een grondiger en genuanceerder begrip van een scène te ontwikkelen. Recente multi-image LVLMs zijn begonnen aan deze behoefte tegemoet te komen. Echter, hun evaluatie heeft geen gelijke tred gehouden met hun ontwikkeling. Om deze leemte op te vullen, introduceren we de Multimodale Multi-image Understanding (MMIU) benchmark, een uitgebreide evaluatiesuite ontworpen om LVLMs te beoordelen over een breed scala aan multi-image taken. MMIU omvat 7 soorten multi-image relaties, 52 taken, 77K afbeeldingen en 11K zorgvuldig samengestelde meerkeuzevragen, waardoor het de meest uitgebreide benchmark in zijn soort is. Onze evaluatie van 24 populaire LVLMs, waaronder zowel open-source als propriëtaire modellen, onthult aanzienlijke uitdagingen in multi-image begrip, met name in taken die ruimtelijk inzicht vereisen. Zelfs de meest geavanceerde modellen, zoals GPT-4o, behalen slechts 55,7% nauwkeurigheid op MMIU. Door middel van veelzijdige analytische experimenten identificeren we belangrijke prestatiekloofjes en beperkingen, wat waardevolle inzichten biedt voor toekomstige model- en dataverbeteringen. Wij streven ernaar dat MMIU de grens van LVLM-onderzoek en -ontwikkeling verlegt, en ons dichter brengt bij het bereiken van geavanceerde multimodale multi-image gebruikersinteracties.

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.

MMIU: Multimodale Multi-beeldbegrip voor de Evaluatie van Grote Visie-Taalmodellen

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

Samenvatting

Support