COOPER: Een Geïntegreerd Model voor Waarneming en Redeneren in Samenwerkende Ruimtelijke Intelligentie
COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence
December 4, 2025
Auteurs: Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu
cs.AI
Samenvatting
Visueel-ruimtelijk redeneren is cruciaal om multimodale grote taalmodellen (MLLM's) in staat te stellen objecteigenschappen en ruimtelijke relaties te begrijpen, maar huidige modellen worstelen nog steeds met 3D-bewust redeneren. Bestaande benaderingen verbeteren typisch óf de perceptie, door RGB-input aan te vullen met hulpmodaliteiten zoals diepte en segmentatie, óf het redeneervermogen, door training op ruimtelijke VQA-datasets en toepassing van reinforcement learning, en behandelen deze twee aspecten dus geïsoleerd. In dit werk onderzoeken we of een verenigde MLLM een intrinsiek vermogen kan ontwikkelen om ruimtelijke perceptie te verbeteren en, door middel van adaptief interleaved redeneren, sterkere ruimtelijke intelligentie kan bereiken. Wij stellen COOPER voor, een verenigde MLLM die diepte en segmentatie als hulpmodaliteiten benut en in twee fasen wordt getraind om hulpmodaliteitgeneratie en adaptieve, interleaved redeneercapaciteiten te verwerven. COOPER behaalt een gemiddelde verbetering van 6,91% in ruimtelijk redeneren, terwijl de algemene prestaties behouden blijven. Bovendien behaalt zelfs een variant die alleen voor hulpmodaliteitgeneratie is getraind een winst van 7,92% op schattingen van afstand en grootte, wat suggereert dat het leren genereren van hulpmodaliteiten helpt om ruimtelijke kennis te internaliseren en het ruimtelijk begrip te versterken.
English
Visual Spatial Reasoning is crucial for enabling Multimodal Large Language Models (MLLMs) to understand object properties and spatial relationships, yet current models still struggle with 3D-aware reasoning. Existing approaches typically enhance either perception, by augmenting RGB inputs with auxiliary modalities such as depth and segmentation, or reasoning, by training on spatial VQA datasets and applying reinforcement learning, and thus treat these two aspects in isolation. In this work, we investigate whether a unified MLLM can develop an intrinsic ability to enhance spatial perception and, through adaptive interleaved reasoning, achieve stronger spatial intelligence. We propose COOPER, a unified MLLM that leverages depth and segmentation as auxiliary modalities and is trained in two stages to acquire auxiliary modality generation and adaptive, interleaved reasoning capabilities. COOPER achieves an average 6.91\% improvement in spatial reasoning while maintaining general performance. Moreover, even a variant trained only for auxiliary modality generation attains a 7.92\% gain on distance and size estimation, suggesting that learning to generate auxiliary modalities helps internalize spatial knowledge and strengthen spatial understanding.