Aus einer anderen Perspektive betrachten: Bewertung des Multi-View-Verständnisses in MLLMs

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

Autoren: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

Zusammenfassung

Multi-View-Verständnis, die Fähigkeit, visuelle Informationen über verschiedene Blickwinkel hinweg für effektive Navigation, Manipulation und 3D-Szenenverständnis zu vereinen, stellt eine grundlegende Herausforderung für Multi-Modale Große Sprachmodelle (MLLMs) dar, die als verkörperte Agenten eingesetzt werden sollen. Obwohl aktuelle MLLMs beeindruckende Fortschritte in hochrangigem Denken und Planung gezeigt haben, scheitern sie häufig, wenn es um multi-view geometrische Konsistenz und übergreifende Blickwinkelkorrespondenz geht. Um die Herausforderungen von MLLMs im Multi-View-Szenenverständnis umfassend zu bewerten, schlagen wir All-Angles Bench vor, einen Benchmark mit über 2.100 sorgfältig von Menschen annotierten Multi-View-Frage-Antwort-Paaren aus 90 verschiedenen realen Szenen. Unsere sechs Aufgaben (Zählen, Attributidentifikation, relative Distanz, relative Richtung, Objektmanipulation und Kameraposenschätzung) testen speziell die geometrische Korrespondenz des Modells und die Fähigkeit, Informationen konsistent über verschiedene Blickwinkel hinweg auszurichten. Unsere umfangreichen Experimente, die 27 repräsentative MLLMs, darunter Gemini-2.0-Flash, Claude-3.7-Sonnet und GPT-4o, gegen menschliche Bewerter benchmarken, zeigen eine erhebliche Leistungslücke, was darauf hindeutet, dass aktuelle MLLMs weit von menschlicher Kompetenz entfernt sind. Durch eine detaillierte Analyse zeigen wir, dass MLLMs insbesondere in zwei Aspekten unterdurchschnittlich abschneiden: (1) übergreifende Blickwinkelkorrespondenz bei teilweise verdeckten Ansichten und (2) die Bestimmung grober Kameraposen. Diese Erkenntnisse unterstreichen die Notwendigkeit von domänenspezifischen Verfeinerungen oder Modulen, die ein stärkeres Multi-View-Bewusstsein einbetten. Wir glauben, dass unser All-Angles Bench wertvolle Einblicke bietet und dazu beiträgt, die Lücke zwischen MLLMs und menschlichem Multi-View-Verständnis zu schließen. Das Projekt und der Benchmark sind öffentlich verfügbar unter https://danielchyeh.github.io/All-Angles-Bench/.

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.