MuirBench : Un Benchmark Complet pour une Compréhension Robuste d'Images Multiples

MuirBench: A Comprehensive Benchmark for Robust Multi-image Understanding

June 13, 2024

Auteurs: Fei Wang, Xingyu Fu, James Y. Huang, Zekun Li, Qin Liu, Xiaogeng Liu, Mingyu Derek Ma, Nan Xu, Wenxuan Zhou, Kai Zhang, Tianyi Lorena Yan, Wenjie Jacky Mo, Hsiang-Hui Liu, Pan Lu, Chunyuan Li, Chaowei Xiao, Kai-Wei Chang, Dan Roth, Sheng Zhang, Hoifung Poon, Muhao Chen

cs.AI

Résumé

Nous présentons MuirBench, un benchmark complet axé sur les capacités robustes de compréhension multi-images des modèles de langage multimodaux (LLMs). MuirBench se compose de 12 tâches variées impliquant plusieurs images (par exemple, compréhension de scènes, ordonnancement) qui couvrent 10 catégories de relations multi-images (par exemple, relations multivues, temporelles). Avec 11 264 images et 2 600 questions à choix multiples, MuirBench est conçu de manière appariée, où chaque instance standard est jumelée à une variante insoluble présentant des différences sémantiques minimales, afin d'assurer une évaluation fiable. Évalué sur 20 LLMs multimodaux récents, nos résultats révèlent que même les modèles les plus performants comme GPT-4o et Gemini Pro rencontrent des difficultés à résoudre MuirBench, atteignant respectivement 68,0 % et 49,3 % de précision. Les LLMs multimodaux open-source entraînés sur des images uniques peinent à généraliser aux questions multi-images, restant en dessous de 33,3 % de précision. Ces résultats soulignent l'importance de MuirBench pour encourager la communauté à développer des LLMs multimodaux capables de dépasser la compréhension d'une seule image, suggérant des pistes potentielles pour des améliorations futures.

English

We introduce MuirBench, a comprehensive benchmark that focuses on robust multi-image understanding capabilities of multimodal LLMs. MuirBench consists of 12 diverse multi-image tasks (e.g., scene understanding, ordering) that involve 10 categories of multi-image relations (e.g., multiview, temporal relations). Comprising 11,264 images and 2,600 multiple-choice questions, MuirBench is created in a pairwise manner, where each standard instance is paired with an unanswerable variant that has minimal semantic differences, in order for a reliable assessment. Evaluated upon 20 recent multi-modal LLMs, our results reveal that even the best-performing models like GPT-4o and Gemini Pro find it challenging to solve MuirBench, achieving 68.0% and 49.3% in accuracy. Open-source multimodal LLMs trained on single images can hardly generalize to multi-image questions, hovering below 33.3% in accuracy. These results highlight the importance of MuirBench in encouraging the community to develop multimodal LLMs that can look beyond a single image, suggesting potential pathways for future improvements.