OmniSpatial: К созданию всеобъемлющего бенчмарка для пространственного мышления в моделях "зрение-язык"
OmniSpatial: Towards Comprehensive Spatial Reasoning Benchmark for Vision Language Models
June 3, 2025
Авторы: Mengdi Jia, Zekun Qi, Shaochen Zhang, Wenyao Zhang, Xinqiang Yu, Jiawei He, He Wang, Li Yi
cs.AI
Аннотация
Пространственное мышление является ключевым аспектом когнитивной психологии и остается серьезным ограничением для современных моделей, работающих с визуальными и языковыми данными (VLMs). Хотя обширные исследования были направлены на оценку или улучшение понимания VLMs базовых пространственных отношений, таких как различение левого и правого, близкого и далекого, а также подсчет объектов, эти задачи представляют лишь самый фундаментальный уровень пространственного мышления. В данной работе мы представляем OmniSpatial — всеобъемлющий и сложный бенчмарк для пространственного мышления, основанный на когнитивной психологии. OmniSpatial охватывает четыре основные категории: динамическое рассуждение, сложная пространственная логика, пространственное взаимодействие и принятие перспективы, с 50 детализированными подкатегориями. С помощью сбора данных из Интернета и тщательной ручной аннотации мы создали более 1,5 тысяч пар вопросов и ответов. Масштабные эксперименты показывают, что как открытые, так и закрытые VLMs, а также существующие модели рассуждений и пространственного понимания, демонстрируют значительные ограничения в комплексном понимании пространства. Мы также анализируем случаи неудач и предлагаем возможные направления для будущих исследований.
English
Spatial reasoning is a key aspect of cognitive psychology and remains a major
bottleneck for current vision-language models (VLMs). While extensive research
has aimed to evaluate or improve VLMs' understanding of basic spatial
relations, such as distinguishing left from right, near from far, and object
counting, these tasks represent only the most fundamental level of spatial
reasoning. In this work, we introduce OmniSpatial, a comprehensive and
challenging benchmark for spatial reasoning, grounded in cognitive psychology.
OmniSpatial covers four major categories: dynamic reasoning, complex spatial
logic, spatial interaction, and perspective-taking, with 50 fine-grained
subcategories. Through Internet data crawling and careful manual annotation, we
construct over 1.5K question-answer pairs. Extensive experiments show that both
open- and closed-source VLMs, as well as existing reasoning and spatial
understanding models, exhibit significant limitations in comprehensive spatial
understanding. We further analyze failure cases and propose potential
directions for future research.