MMMU-Pro: より堅牢なマルチディシプリンマルチモーダル理解ベンチマーク

MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark

September 4, 2024

著者: Xiang Yue, Tianyu Zheng, Yuansheng Ni, Yubo Wang, Kai Zhang, Shengbang Tong, Yuxuan Sun, Ming Yin, Botao Yu, Ge Zhang, Huan Sun, Yu Su, Wenhu Chen, Graham Neubig

cs.AI

要旨

本論文では、Massive Multi-discipline Multimodal Understanding and Reasoning（MMMU）ベンチマークの堅牢なバージョンであるMMMU-Proを紹介します。MMMU-Proは、MMMUに基づいた3段階のプロセスを通じて、多様なモデルの真の理解力と推論能力を厳密に評価します：（1）テキストのみで回答可能な質問を除外し、（2）候補オプションを拡張し、（3）画像内に質問が埋め込まれるビジョンのみの入力設定を導入します。この設定は、AIに真に「見る」ことと「読む」ことを同時に行うことを求め、視覚情報とテキスト情報をシームレスに統合するという基本的な人間の認知スキルをテストします。結果は、モデルのパフォーマンスがMMMU-Proで16.8%から26.9%の範囲でMMMUよりも大幅に低いことを示しています。OCRプロンプトとChain of Thought（CoT）推論の影響を探究し、OCRプロンプトはほとんど影響を与えない一方、CoTは一般的にパフォーマンスを向上させることがわかりました。MMMU-Proは、現実世界のシナリオを密接に模倣し、将来のマルチモーダルAIの研究に貴重な方向性を提供する、より厳密な評価ツールを提供します。

English

This paper introduces MMMU-Pro, a robust version of the Massive Multi-discipline Multimodal Understanding and Reasoning (MMMU) benchmark. MMMU-Pro rigorously assesses multimodal models' true understanding and reasoning capabilities through a three-step process based on MMMU: (1) filtering out questions answerable by text-only models, (2) augmenting candidate options, and (3) introducing a vision-only input setting where questions are embedded within images. This setting challenges AI to truly "see" and "read" simultaneously, testing a fundamental human cognitive skill of seamlessly integrating visual and textual information. Results show that model performance is substantially lower on MMMU-Pro than on MMMU, ranging from 16.8% to 26.9% across models. We explore the impact of OCR prompts and Chain of Thought (CoT) reasoning, finding that OCR prompts have minimal effect while CoT generally improves performance. MMMU-Pro provides a more rigorous evaluation tool, closely mimicking real-world scenarios and offering valuable directions for future research in multimodal AI.