別の視点から見る：MLLMにおけるマルチビュー理解の評価

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

著者: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

要旨

マルチビュー理解、すなわち多様な視点からの視覚情報を統合し、効果的なナビゲーション、操作、3Dシーン理解を実現する能力は、エンボディドエージェントとして使用されるマルチモーダル大規模言語モデル（MLLMs）における基本的な課題です。最近のMLLMsは高レベルの推論と計画において印象的な進歩を示していますが、マルチビューの幾何学的整合性やクロスビュー対応に直面すると、しばしば不十分な結果に終わります。MLLMsのマルチビューシーン推論における課題を包括的に評価するため、我々はAll-Angles Benchを提案します。これは、90の多様な実世界シーンにわたる2,100以上の人間が慎重に注釈を付けたマルチビューの質問応答ペアからなるベンチマークです。我々の6つのタスク（カウンティング、属性識別、相対距離、相対方向、オブジェクト操作、カメラポーズ推定）は、モデルの幾何学的対応と、ビュー間で情報を一貫して整合させる能力を特にテストします。Gemini-2.0-Flash、Claude-3.7-Sonnet、GPT-4oを含む27の代表的なMLLMsを人間の評価者と比較した広範な実験は、現在のMLLMsが人間レベルの熟練度には程遠いことを示す大きなパフォーマンスギャップを明らかにしました。詳細な分析を通じて、MLLMsが特に以下の2つの側面で低性能であることを示します：（1）部分的に隠れたビューのクロスビュー対応、（2）粗いカメラポーズの確立。これらの発見は、より強力なマルチビュー認識を組み込んだドメイン固有の改良やモジュールの必要性を強調しています。我々は、All-Angles Benchが貴重な洞察を提供し、MLLMsと人間レベルのマルチビュー理解のギャップを埋めることに貢献すると信じています。プロジェクトとベンチマークはhttps://danielchyeh.github.io/All-Angles-Bench/で公開されています。

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.