COOPER : Un modèle unifié pour la perception et le raisonnement coopératifs en intelligence spatiale
COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence
December 4, 2025
papers.authors: Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu
cs.AI
papers.abstract
Le raisonnement visuel spatial est essentiel pour permettre aux modèles linguistiques multimodaux de grande taille (MLLM) de comprendre les propriétés des objets et les relations spatiales, mais les modèles actuels peinent encore avec le raisonnement 3D. Les approches existantes améliorent généralement soit la perception, en enrichissant les entrées RVB avec des modalités auxiliaires comme la profondeur et la segmentation, soit le raisonnement, en entraînant sur des ensembles de données de question-réponse visuelle spatiale et en appliquant l'apprentissage par renforcement, traitant ainsi ces deux aspects de manière isolée. Dans ce travail, nous étudions si un MLLM unifié peut développer une capacité intrinsèque à améliorer la perception spatiale et, grâce à un raisonnement entrelacé adaptatif, atteindre une intelligence spatiale plus robuste. Nous proposons COOPER, un MLLM unifié qui exploite la profondeur et la segmentation comme modalités auxiliaires et est entraîné en deux étapes pour acquérir des capacités de génération de modalités auxiliaires et de raisonnement entrelacé adaptatif. COOPER obtient une amélioration moyenne de 6,91 % en raisonnement spatial tout en maintenant des performances générales. De plus, même une variante entraînée uniquement pour la génération de modalités auxiliaires atteint un gain de 7,92 % sur l'estimation des distances et des tailles, suggérant qu'apprendre à générer des modalités auxiliaires aide à internaliser les connaissances spatiales et à renforcer la compréhension spatiale.
English
Visual Spatial Reasoning is crucial for enabling Multimodal Large Language Models (MLLMs) to understand object properties and spatial relationships, yet current models still struggle with 3D-aware reasoning. Existing approaches typically enhance either perception, by augmenting RGB inputs with auxiliary modalities such as depth and segmentation, or reasoning, by training on spatial VQA datasets and applying reinforcement learning, and thus treat these two aspects in isolation. In this work, we investigate whether a unified MLLM can develop an intrinsic ability to enhance spatial perception and, through adaptive interleaved reasoning, achieve stronger spatial intelligence. We propose COOPER, a unified MLLM that leverages depth and segmentation as auxiliary modalities and is trained in two stages to acquire auxiliary modality generation and adaptive, interleaved reasoning capabilities. COOPER achieves an average 6.91\% improvement in spatial reasoning while maintaining general performance. Moreover, even a variant trained only for auxiliary modality generation attains a 7.92\% gain on distance and size estimation, suggesting that learning to generate auxiliary modalities helps internalize spatial knowledge and strengthen spatial understanding.