COOPER: Un Modello Unificato per la Percezione e il Ragionamento Cooperativo nell'Intelligenza Spaziale
COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence
December 4, 2025
Autori: Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu
cs.AI
Abstract
Il ragionamento visivo-spaziale è cruciale per consentire ai Modelli Linguistici Multimodali di Grande Dimensione (MLLM) di comprendere le proprietà degli oggetti e le relazioni spaziali, eppure i modelli attuali continuano a incontrare difficoltà con il ragionamento consapevole della tridimensionalità. Gli approcci esistenti generalmente migliorano la percezione, arricchendo gli input RGB con modalità ausiliarie come la profondità e la segmentazione, oppure potenziano il ragionamento, addestrando i modelli su dataset di VQA spaziale e applicando l'apprendimento per rinforzo, trattando quindi questi due aspetti in modo isolato. In questo lavoro, indaghiamo se un MLLM unificato possa sviluppare un'abilità intrinseca per potenziare la percezione spaziale e, attraverso un ragionamento intervallato adattivo, raggiungere un'intelligenza spaziale più robusta. Proponiamo COOPER, un MLLM unificato che utilizza la profondità e la segmentazione come modalità ausiliarie ed è addestrato in due fasi per acquisire capacità di generazione di modalità ausiliarie e di ragionamento adattivo e intervallato. COOPER ottiene un miglioramento medio del 6,91% nel ragionamento spaziale mantenendo al contempo le prestazioni generali. Inoltre, persino una variante addestrata solo per la generazione di modalità ausiliarie raggiunge un guadagno del 7,92% nella stima di distanze e dimensioni, suggerendo che imparare a generare modalità ausiliarie aiuta a internalizzare la conoscenza spaziale e a rafforzare la comprensione spaziale.
English
Visual Spatial Reasoning is crucial for enabling Multimodal Large Language Models (MLLMs) to understand object properties and spatial relationships, yet current models still struggle with 3D-aware reasoning. Existing approaches typically enhance either perception, by augmenting RGB inputs with auxiliary modalities such as depth and segmentation, or reasoning, by training on spatial VQA datasets and applying reinforcement learning, and thus treat these two aspects in isolation. In this work, we investigate whether a unified MLLM can develop an intrinsic ability to enhance spatial perception and, through adaptive interleaved reasoning, achieve stronger spatial intelligence. We propose COOPER, a unified MLLM that leverages depth and segmentation as auxiliary modalities and is trained in two stages to acquire auxiliary modality generation and adaptive, interleaved reasoning capabilities. COOPER achieves an average 6.91\% improvement in spatial reasoning while maintaining general performance. Moreover, even a variant trained only for auxiliary modality generation attains a 7.92\% gain on distance and size estimation, suggesting that learning to generate auxiliary modalities helps internalize spatial knowledge and strengthen spatial understanding.