MuirBench: Ein umfassender Benchmark für robustes Multi-Image-Verständnis

MuirBench: A Comprehensive Benchmark for Robust Multi-image Understanding

June 13, 2024

Autoren: Fei Wang, Xingyu Fu, James Y. Huang, Zekun Li, Qin Liu, Xiaogeng Liu, Mingyu Derek Ma, Nan Xu, Wenxuan Zhou, Kai Zhang, Tianyi Lorena Yan, Wenjie Jacky Mo, Hsiang-Hui Liu, Pan Lu, Chunyuan Li, Chaowei Xiao, Kai-Wei Chang, Dan Roth, Sheng Zhang, Hoifung Poon, Muhao Chen

cs.AI

Zusammenfassung

Wir stellen MuirBench vor, einen umfassenden Benchmark, der sich auf robuste multi-image Verständnisfähigkeiten von multimodalen LLMs konzentriert. MuirBench besteht aus 12 verschiedenen multi-image Aufgaben (z. B. Szenenverständnis, Anordnung), die 10 Kategorien von multi-image Beziehungen (z. B. Multiview, zeitliche Beziehungen) umfassen. Mit 11.264 Bildern und 2.600 Multiple-Choice-Fragen wird MuirBench paarweise erstellt, wobei jede Standardinstanz mit einer nicht beantwortbaren Variante gepaart ist, die minimale semantische Unterschiede aufweist, um eine zuverlässige Bewertung zu gewährleisten. Bei der Auswertung von 20 aktuellen multi-modalen LLMs zeigen unsere Ergebnisse, dass selbst die leistungsstärksten Modelle wie GPT-4o und Gemini Pro Schwierigkeiten haben, MuirBench zu lösen, wobei sie eine Genauigkeit von 68,0 % bzw. 49,3 % erreichen. Open-Source multimodale LLMs, die auf einzelnen Bildern trainiert sind, können sich kaum auf multi-image Fragen verallgemeinern und erreichen eine Genauigkeit von unter 33,3 %. Diese Ergebnisse unterstreichen die Bedeutung von MuirBench, um die Community dazu zu ermutigen, multimodale LLMs zu entwickeln, die über ein einzelnes Bild hinausblicken können, und schlagen potenzielle Wege für zukünftige Verbesserungen vor.

English

We introduce MuirBench, a comprehensive benchmark that focuses on robust multi-image understanding capabilities of multimodal LLMs. MuirBench consists of 12 diverse multi-image tasks (e.g., scene understanding, ordering) that involve 10 categories of multi-image relations (e.g., multiview, temporal relations). Comprising 11,264 images and 2,600 multiple-choice questions, MuirBench is created in a pairwise manner, where each standard instance is paired with an unanswerable variant that has minimal semantic differences, in order for a reliable assessment. Evaluated upon 20 recent multi-modal LLMs, our results reveal that even the best-performing models like GPT-4o and Gemini Pro find it challenging to solve MuirBench, achieving 68.0% and 49.3% in accuracy. Open-source multimodal LLMs trained on single images can hardly generalize to multi-image questions, hovering below 33.3% in accuracy. These results highlight the importance of MuirBench in encouraging the community to develop multimodal LLMs that can look beyond a single image, suggesting potential pathways for future improvements.