COOPER: Единая модель для совместного восприятия и логического вывода в пространственном интеллекте
COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence
December 4, 2025
Авторы: Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu
cs.AI
Аннотация
Визуально-пространственное мышление играет ключевую роль в способности мультимодальных больших языковых моделей (МБЯМ) понимать свойства объектов и пространственные отношения, однако современные модели по-прежнему испытывают трудности с трехмерным анализом. Существующие подходы обычно усиливают либо восприятие — путем дополнения RGB-входных данных вспомогательными модальностями, такими как глубина и сегментация, — либо логические рассуждения — через обучение на пространственных VQA-наборах данных и применение обучения с подкреплением, — таким образом рассматривая эти два аспекта изолированно. В данной работе мы исследуем, может ли унифицированная МБЯМ развить внутреннюю способность к усилению пространственного восприятия и, благодаря адаптивному чередующемуся рассуждению, достичь более высокого уровня пространственного интеллекта. Мы предлагаем COOPER — унифицированную МБЯМ, которая использует глубину и сегментацию в качестве вспомогательных модальностей и обучается в два этапа для приобретения способностей генерации вспомогательных модальностей и адаптивного чередующегося рассуждения. COOPER демонстрирует среднее улучшение на 6,91% в пространственном мышлении при сохранении общей производительности. Более того, даже вариант модели, обученный только для генерации вспомогательных модальностей, достигает улучшения на 7,92% в оценке расстояний и размеров, что свидетельствует о том, что обучение генерации вспомогательных модальностей помогает интериоризировать пространственные знания и укреплять пространственное понимание.
English
Visual Spatial Reasoning is crucial for enabling Multimodal Large Language Models (MLLMs) to understand object properties and spatial relationships, yet current models still struggle with 3D-aware reasoning. Existing approaches typically enhance either perception, by augmenting RGB inputs with auxiliary modalities such as depth and segmentation, or reasoning, by training on spatial VQA datasets and applying reinforcement learning, and thus treat these two aspects in isolation. In this work, we investigate whether a unified MLLM can develop an intrinsic ability to enhance spatial perception and, through adaptive interleaved reasoning, achieve stronger spatial intelligence. We propose COOPER, a unified MLLM that leverages depth and segmentation as auxiliary modalities and is trained in two stages to acquire auxiliary modality generation and adaptive, interleaved reasoning capabilities. COOPER achieves an average 6.91\% improvement in spatial reasoning while maintaining general performance. Moreover, even a variant trained only for auxiliary modality generation attains a 7.92\% gain on distance and size estimation, suggesting that learning to generate auxiliary modalities helps internalize spatial knowledge and strengthen spatial understanding.