Взгляд с другой стороны: оценка понимания многопользовательского представления в MLLM

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs

April 21, 2025

Авторы: Chun-Hsiao Yeh, Chenyu Wang, Shengbang Tong, Ta-Ying Cheng, Rouyu Wang, Tianzhe Chu, Yuexiang Zhai, Yubei Chen, Shenghua Gao, Yi Ma

cs.AI

Аннотация

Многопозиционное понимание, способность согласовывать визуальную информацию с различных точек зрения для эффективной навигации, манипуляции и понимания 3D-сцен, является фундаментальной проблемой для мультимодальных больших языковых моделей (MLLMs), используемых в качестве воплощенных агентов. Хотя современные MLLMs демонстрируют впечатляющие успехи в высокоуровневом рассуждении и планировании, они часто оказываются несостоятельными при столкновении с геометрической согласованностью между видами и соответствием между различными ракурсами. Для всесторонней оценки сложностей MLLMs в многопозиционном анализе сцен мы предлагаем All-Angles Bench — эталонный набор из более чем 2100 тщательно аннотированных человеком вопросов и ответов для многопозиционных сцен, охватывающих 90 разнообразных реальных сценариев. Наши шесть задач (подсчет, идентификация атрибутов, относительное расстояние, относительное направление, манипуляция объектами и оценка позы камеры) специально проверяют геометрическое соответствие модели и способность согласованно объединять информацию между видами. Наши масштабные эксперименты, проведенные на 27 репрезентативных MLLMs, включая Gemini-2.0-Flash, Claude-3.7-Sonnet и GPT-4o, в сравнении с оценками людей, выявили значительный разрыв в производительности, указывающий на то, что текущие MLLMs далеки от уровня человеческого понимания. Глубокий анализ показывает, что MLLMs особенно слабо справляются в двух аспектах: (1) соответствие между видами для частично закрытых ракурсов и (2) установление приблизительных поз камеры. Эти результаты подчеркивают необходимость специализированных доработок или модулей, которые внедряют более сильное многопозиционное восприятие. Мы считаем, что наш All-Angles Bench предоставляет ценные инсайты и способствует сокращению разрыва между MLLMs и человеческим уровнем многопозиционного понимания. Проект и эталонный набор доступны по адресу https://danielchyeh.github.io/All-Angles-Bench/.

English

Multi-view understanding, the ability to reconcile visual information across diverse viewpoints for effective navigation, manipulation, and 3D scene comprehension, is a fundamental challenge in Multi-Modal Large Language Models (MLLMs) to be used as embodied agents. While recent MLLMs have shown impressive advances in high-level reasoning and planning, they frequently fall short when confronted with multi-view geometric consistency and cross-view correspondence. To comprehensively evaluate the challenges of MLLMs in multi-view scene reasoning, we propose All-Angles Bench, a benchmark of over 2,100 human carefully annotated multi-view question-answer pairs across 90 diverse real-world scenes. Our six tasks (counting, attribute identification, relative distance, relative direction, object manipulation, and camera pose estimation) specifically test model's geometric correspondence and the capacity to align information consistently across views. Our extensive experiments, benchmark on 27 representative MLLMs including Gemini-2.0-Flash, Claude-3.7-Sonnet, and GPT-4o against human evaluators reveals a substantial performance gap, indicating that current MLLMs remain far from human-level proficiency. Through in-depth analysis, we show that MLLMs are particularly underperforming under two aspects: (1) cross-view correspondence for partially occluded views and (2) establishing the coarse camera poses. These findings highlight the necessity of domain-specific refinements or modules that embed stronger multi-view awareness. We believe that our All-Angles Bench offers valuable insights and contribute to bridging the gap between MLLMs and human-level multi-view understanding. The project and benchmark are publicly available at https://danielchyeh.github.io/All-Angles-Bench/.