MuirBench: Um Benchmark Abrangente para Compreensão Robusta de Múltiplas Imagens
MuirBench: A Comprehensive Benchmark for Robust Multi-image Understanding
June 13, 2024
Autores: Fei Wang, Xingyu Fu, James Y. Huang, Zekun Li, Qin Liu, Xiaogeng Liu, Mingyu Derek Ma, Nan Xu, Wenxuan Zhou, Kai Zhang, Tianyi Lorena Yan, Wenjie Jacky Mo, Hsiang-Hui Liu, Pan Lu, Chunyuan Li, Chaowei Xiao, Kai-Wei Chang, Dan Roth, Sheng Zhang, Hoifung Poon, Muhao Chen
cs.AI
Resumo
Apresentamos o MuirBench, um benchmark abrangente que se concentra nas capacidades robustas de compreensão de múltiplas imagens em LLMs multimodais. O MuirBench consiste em 12 tarefas diversas de múltiplas imagens (por exemplo, compreensão de cena, ordenação) que envolvem 10 categorias de relações entre múltiplas imagens (por exemplo, multivista, relações temporais). Composto por 11.264 imagens e 2.600 questões de múltipla escolha, o MuirBench é criado de forma pareada, onde cada instância padrão é emparelhada com uma variante impossível de responder que possui diferenças semânticas mínimas, permitindo uma avaliação confiável. Avaliado em 20 LLMs multimodais recentes, nossos resultados revelam que até os modelos de melhor desempenho, como GPT-4o e Gemini Pro, enfrentam dificuldades para resolver o MuirBench, alcançando 68,0% e 49,3% de precisão. LLMs multimodais de código aberto treinados em imagens únicas têm dificuldade em generalizar para questões de múltiplas imagens, mantendo-se abaixo de 33,3% de precisão. Esses resultados destacam a importância do MuirBench em incentivar a comunidade a desenvolver LLMs multimodais que possam ir além de uma única imagem, sugerindo potenciais caminhos para melhorias futuras.
English
We introduce MuirBench, a comprehensive benchmark that focuses on robust
multi-image understanding capabilities of multimodal LLMs. MuirBench consists
of 12 diverse multi-image tasks (e.g., scene understanding, ordering) that
involve 10 categories of multi-image relations (e.g., multiview, temporal
relations). Comprising 11,264 images and 2,600 multiple-choice questions,
MuirBench is created in a pairwise manner, where each standard instance is
paired with an unanswerable variant that has minimal semantic differences, in
order for a reliable assessment. Evaluated upon 20 recent multi-modal LLMs, our
results reveal that even the best-performing models like GPT-4o and Gemini Pro
find it challenging to solve MuirBench, achieving 68.0% and 49.3% in accuracy.
Open-source multimodal LLMs trained on single images can hardly generalize to
multi-image questions, hovering below 33.3% in accuracy. These results
highlight the importance of MuirBench in encouraging the community to develop
multimodal LLMs that can look beyond a single image, suggesting potential
pathways for future improvements.