MMIU: Compreensão Multimodal Multi-imagem para Avaliar Modelos de Visão-Linguagem de Grande Escala

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

August 5, 2024

Autores: Fanqing Meng, Jin Wang, Chuanhao Li, Quanfeng Lu, Hao Tian, Jiaqi Liao, Xizhou Zhu, Jifeng Dai, Yu Qiao, Ping Luo, Kaipeng Zhang, Wenqi Shao

cs.AI

Resumo

A capacidade de processar várias imagens é crucial para os Modelos de Grande Escala de Visão e Linguagem (LVLMs) desenvolverem uma compreensão mais aprofundada e matizada de uma cena. LVLMs multi-imagem recentes começaram a abordar essa necessidade. No entanto, sua avaliação não acompanhou seu desenvolvimento. Para preencher essa lacuna, apresentamos o benchmark de Compreensão Multimodal Multi-imagem (MMIU), uma suíte abrangente de avaliação projetada para avaliar LVLMs em uma ampla gama de tarefas multi-imagem. O MMIU abrange 7 tipos de relações multi-imagem, 52 tarefas, 77 mil imagens e 11 mil perguntas de múltipla escolha meticulosamente selecionadas, tornando-o o benchmark mais abrangente do seu tipo. Nossa avaliação de 24 LVLMs populares, incluindo modelos de código aberto e proprietários, revela desafios significativos na compreensão multi-imagem, especialmente em tarefas que envolvem compreensão espacial. Mesmo os modelos mais avançados, como o GPT-4o, alcançam apenas 55,7% de precisão no MMIU. Através de experimentos analíticos multifacetados, identificamos lacunas de desempenho e limitações-chave, fornecendo insights valiosos para futuras melhorias em modelos e dados. Nosso objetivo com o MMIU é avançar a fronteira da pesquisa e desenvolvimento de LVLMs, nos aproximando de alcançar interações sofisticadas de usuários multimodais multi-imagem.

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.