COOPER: Un Modelo Unificado para la Percepción y el Razonamiento Cooperativos en la Inteligencia Espacial
COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence
December 4, 2025
Autores: Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu
cs.AI
Resumen
El razonamiento visual espacial es crucial para que los Modelos de Lenguaje Grandes Multimodales (MLLMs) comprendan las propiedades de los objetos y las relaciones espaciales, aunque los modelos actuales aún presentan dificultades con el razonamiento 3D. Los enfoques existentes suelen mejorar ya sea la percepción, aumentando las entradas RGB con modalidades auxiliares como la profundidad y la segmentación, o el razonamiento, entrenando en conjuntos de datos de VQA espacial y aplicando aprendizaje por refuerzo, tratando así estos dos aspectos de forma aislada. En este trabajo, investigamos si un MLLM unificado puede desarrollar una capacidad intrínseca para mejorar la percepción espacial y, mediante un razonamiento entrelazado adaptativo, lograr una inteligencia espacial más sólida. Proponemos COOPER, un MLLM unificado que aprovecha la profundidad y la segmentación como modalidades auxiliares y se entrena en dos etapas para adquirir capacidades de generación de modalidades auxiliares y de razonamiento adaptativo y entrelazado. COOPER logra una mejora promedio del 6.91% en el razonamiento espacial manteniendo un rendimiento general. Además, incluso una variante entrenada solo para la generación de modalidades auxiliares alcanza una ganancia del 7.92% en la estimación de distancias y tamaños, lo que sugiere que aprender a generar modalidades auxiliares ayuda a internalizar el conocimiento espacial y a fortalecer la comprensión espacial.
English
Visual Spatial Reasoning is crucial for enabling Multimodal Large Language Models (MLLMs) to understand object properties and spatial relationships, yet current models still struggle with 3D-aware reasoning. Existing approaches typically enhance either perception, by augmenting RGB inputs with auxiliary modalities such as depth and segmentation, or reasoning, by training on spatial VQA datasets and applying reinforcement learning, and thus treat these two aspects in isolation. In this work, we investigate whether a unified MLLM can develop an intrinsic ability to enhance spatial perception and, through adaptive interleaved reasoning, achieve stronger spatial intelligence. We propose COOPER, a unified MLLM that leverages depth and segmentation as auxiliary modalities and is trained in two stages to acquire auxiliary modality generation and adaptive, interleaved reasoning capabilities. COOPER achieves an average 6.91\% improvement in spatial reasoning while maintaining general performance. Moreover, even a variant trained only for auxiliary modality generation attains a 7.92\% gain on distance and size estimation, suggesting that learning to generate auxiliary modalities helps internalize spatial knowledge and strengthen spatial understanding.