MMIU: 大規模視覚言語モデルを評価するためのマルチモーダル・マルチイメージ理解

MMIU: Multimodal Multi-image Understanding for Evaluating Large Vision-Language Models

August 5, 2024

著者: Fanqing Meng, Jin Wang, Chuanhao Li, Quanfeng Lu, Hao Tian, Jiaqi Liao, Xizhou Zhu, Jifeng Dai, Yu Qiao, Ping Luo, Kaipeng Zhang, Wenqi Shao

cs.AI

要旨

複数の画像を処理する能力は、大規模視覚言語モデル（LVLM）がシーンをより徹底的かつニュアンス豊かに理解するために重要です。最近のマルチイメージLVLMは、このニーズに対応し始めています。しかし、その評価は開発に追いついていません。このギャップを埋めるため、私たちはマルチモーダル・マルチイメージ理解（MMIU）ベンチマークを導入しました。これは、幅広いマルチイメージタスクにわたってLVLMを評価するために設計された包括的な評価スイートです。MMIUは7種類のマルチイメージ関係、52のタスク、77Kの画像、そして11Kの入念に選ばれた多肢選択問題を含み、その種類において最も広範なベンチマークとなっています。オープンソースおよびプロプライエタリモデルを含む24の主要なLVLMを評価した結果、特に空間理解を必要とするタスクにおいて、マルチイメージ理解に重大な課題があることが明らかになりました。最も先進的なモデルであるGPT-4oでさえ、MMIUでの精度は55.7%に留まります。多面的な分析実験を通じて、主要なパフォーマンスギャップと制限を特定し、将来のモデルとデータの改善に向けた貴重な洞察を提供します。私たちは、MMIUがLVLM研究と開発の最前線を進め、洗練されたマルチモーダル・マルチイメージユーザーインタラクションの実現に向けて前進することを目指しています。

English

The capability to process multiple images is crucial for Large Vision-Language Models (LVLMs) to develop a more thorough and nuanced understanding of a scene. Recent multi-image LVLMs have begun to address this need. However, their evaluation has not kept pace with their development. To fill this gap, we introduce the Multimodal Multi-image Understanding (MMIU) benchmark, a comprehensive evaluation suite designed to assess LVLMs across a wide range of multi-image tasks. MMIU encompasses 7 types of multi-image relationships, 52 tasks, 77K images, and 11K meticulously curated multiple-choice questions, making it the most extensive benchmark of its kind. Our evaluation of 24 popular LVLMs, including both open-source and proprietary models, reveals significant challenges in multi-image comprehension, particularly in tasks involving spatial understanding. Even the most advanced models, such as GPT-4o, achieve only 55.7% accuracy on MMIU. Through multi-faceted analytical experiments, we identify key performance gaps and limitations, providing valuable insights for future model and data improvements. We aim for MMIU to advance the frontier of LVLM research and development, moving us toward achieving sophisticated multimodal multi-image user interactions.