Vendo de Outra Perspectiva: Avaliando a Compreensão Multi-visual em MLLMs

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

Autores: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

Resumo

A compreensão multi-visão, a capacidade de reconciliar informações visuais a partir de diversas perspectivas para navegação eficaz, manipulação e compreensão de cenas 3D, é um desafio fundamental em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) destinados a serem usados como agentes incorporados. Embora os MLLMs recentes tenham mostrado avanços impressionantes em raciocínio e planejamento de alto nível, eles frequentemente falham quando confrontados com consistência geométrica multi-visão e correspondência entre visões. Para avaliar de forma abrangente os desafios dos MLLMs no raciocínio de cenas multi-visão, propomos o All-Angles Bench, um benchmark com mais de 2.100 pares de perguntas e respostas multi-visão cuidadosamente anotados por humanos em 90 cenas reais diversas. Nossas seis tarefas (contagem, identificação de atributos, distância relativa, direção relativa, manipulação de objetos e estimativa de pose da câmera) testam especificamente a correspondência geométrica do modelo e a capacidade de alinhar informações de forma consistente entre as visões. Nossos extensos experimentos, que avaliam 27 MLLMs representativos, incluindo Gemini-2.0-Flash, Claude-3.7-Sonnet e GPT-4o, em comparação com avaliadores humanos, revelam uma lacuna substancial de desempenho, indicando que os MLLMs atuais ainda estão longe da proficiência em nível humano. Através de uma análise detalhada, mostramos que os MLLMs estão particularmente aquém em dois aspectos: (1) correspondência entre visões para visões parcialmente ocluídas e (2) estabelecimento de poses grosseiras da câmera. Essas descobertas destacam a necessidade de refinamentos ou módulos específicos de domínio que incorporem uma maior consciência multi-visão. Acreditamos que o All-Angles Bench oferece insights valiosos e contribui para reduzir a lacuna entre os MLLMs e a compreensão multi-visão em nível humano. O projeto e o benchmark estão publicamente disponíveis em https://danielchyeh.github.io/All-Angles-Bench/.

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.