MMIU: Мультимодальное многокартинное понимание для оценки крупных моделей видео-языка

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

August 5, 2024

Авторы: Fanqing Meng, Jin Wang, Chuanhao Li, Quanfeng Lu, Hao Tian, Jiaqi Liao, Xizhou Zhu, Jifeng Dai, Yu Qiao, Ping Luo, Kaipeng Zhang, Wenqi Shao

cs.AI

Аннотация

Способность обрабатывать несколько изображений является ключевой для крупных моделей видео-языка (LVLM), чтобы развить более полное и тонкое понимание сцены. Недавние многоизображенческие LVLM начали удовлетворять эту потребность. Однако их оценка не успевает за развитием. Для заполнения этого пробела мы представляем бенчмарк Мультимодального Многоизображенческого Понимания (MMIU), обширный набор оценок, разработанный для оценки LVLM в широком диапазоне многоизображенческих задач. MMIU охватывает 7 типов многоизображенческих отношений, 52 задачи, 77 тыс. изображений и 11 тыс. тщательно подобранных вопросов с выбором ответа, что делает его самым обширным бенчмарком такого рода. Наша оценка 24 популярных LVLM, включая как открытые, так и закрытые модели, показывает значительные вызовы в понимании многоизображений, особенно в задачах, связанных с пространственным пониманием. Даже самые передовые модели, такие как GPT-4o, достигают лишь 55,7% точности на MMIU. Через многофакторные аналитические эксперименты мы выявляем ключевые разрывы в производительности и ограничения, предоставляя ценные идеи для будущего улучшения моделей и данных. Мы стремимся к тому, чтобы MMIU продвигал границы исследований и разработки LVLM, приближаясь к созданию сложных мультимодальных многоизображенческих взаимодействий с пользователем.

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.