Vedere da un'altra prospettiva: Valutazione della comprensione multi-vista nei MLLM

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

Autori: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

Abstract

La comprensione multi-vista, ovvero la capacità di conciliare informazioni visive da diverse prospettive per una navigazione, manipolazione e comprensione delle scene 3D efficaci, rappresenta una sfida fondamentale per i Modelli Linguistici Multimodali di Grande Scala (MLLMs) destinati a essere utilizzati come agenti incarnati. Sebbene i recenti MLLMs abbiano dimostrato progressi impressionanti nel ragionamento e nella pianificazione di alto livello, spesso si rivelano carenti quando devono affrontare la coerenza geometrica multi-vista e la corrispondenza tra viste. Per valutare in modo completo le sfide degli MLLMs nel ragionamento sulle scene multi-vista, proponiamo All-Angles Bench, un benchmark composto da oltre 2.100 coppie domanda-risposta multi-vista annotate accuratamente da esseri umani, relative a 90 scene reali diverse. Le nostre sei attività (conteggio, identificazione degli attributi, distanza relativa, direzione relativa, manipolazione degli oggetti e stima della posa della telecamera) testano specificamente la corrispondenza geometrica del modello e la capacità di allineare le informazioni in modo coerente tra le diverse viste. I nostri esperimenti estesi, che mettono a confronto 27 MLLMs rappresentativi, tra cui Gemini-2.0-Flash, Claude-3.7-Sonnet e GPT-4o, con valutatori umani, rivelano un divario di prestazioni significativo, indicando che gli attuali MLLMs sono ancora lontani dal raggiungere la competenza umana. Attraverso un'analisi approfondita, dimostriamo che gli MLLMs sono particolarmente carenti in due aspetti: (1) la corrispondenza tra viste per prospettive parzialmente occluse e (2) l'identificazione delle pose approssimative della telecamera. Questi risultati evidenziano la necessità di affinamenti specifici per il dominio o di moduli che incorporino una maggiore consapevolezza multi-vista. Crediamo che il nostro All-Angles Bench offra intuizioni preziose e contribuisca a colmare il divario tra gli MLLMs e la comprensione multi-vista a livello umano. Il progetto e il benchmark sono disponibili pubblicamente all'indirizzo https://danielchyeh.github.io/All-Angles-Bench/.

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.