Voir sous un autre angle : Évaluer la compréhension multi-vues dans les MLLMs

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

Auteurs: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

Résumé

La compréhension multi-vues, c'est-à-dire la capacité à concilier des informations visuelles provenant de perspectives diverses pour une navigation, une manipulation et une compréhension de scènes 3D efficaces, constitue un défi fondamental pour les Modèles de Langage Multimodaux (MLLMs) destinés à être utilisés comme agents incarnés. Bien que les MLLMs récents aient montré des avancées impressionnantes en matière de raisonnement et de planification de haut niveau, ils peinent souvent à maintenir une cohérence géométrique multi-vues et une correspondance inter-vues. Pour évaluer de manière exhaustive les défis des MLLMs dans le raisonnement sur des scènes multi-vues, nous proposons All-Angles Bench, un benchmark comprenant plus de 2 100 paires de questions-réponses annotées avec soin par des humains, couvrant 90 scènes réelles variées. Nos six tâches (dénombrement, identification d'attributs, distance relative, direction relative, manipulation d'objets et estimation de la pose de la caméra) testent spécifiquement la correspondance géométrique des modèles et leur capacité à aligner les informations de manière cohérente entre les vues. Nos expériences approfondies, comparant 27 MLLMs représentatifs, dont Gemini-2.0-Flash, Claude-3.7-Sonnet et GPT-4o, à des évaluateurs humains, révèlent un écart de performance substantiel, indiquant que les MLLMs actuels sont encore loin d'atteindre le niveau de compétence humaine. Grâce à une analyse approfondie, nous montrons que les MLLMs sous-performent particulièrement dans deux aspects : (1) la correspondance inter-vues pour les vues partiellement occultées et (2) l'établissement des poses approximatives de la caméra. Ces résultats soulignent la nécessité d'affinements spécifiques au domaine ou de modules intégrant une meilleure conscience multi-vues. Nous croyons que notre All-Angles Bench offre des insights précieux et contribue à combler l'écart entre les MLLMs et la compréhension multi-vues au niveau humain. Le projet et le benchmark sont disponibles publiquement à l'adresse https://danielchyeh.github.io/All-Angles-Bench/.

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.