Actial: Attivazione delle Capacità di Ragionamento Spaziale nei Modelli Linguistici Multimodali di Grande Dimensione

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

November 3, 2025

Autori: Xiaoyu Zhan, Wenxuan Huang, Hao Sun, Xinyu Fu, Changfeng Ma, Shaosheng Cao, Bohan Jia, Shaohui Lin, Zhenfei Yin, Lei Bai, Wanli Ouyang, Yuanqi Li, Jie Guo, Yanwen Guo

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLM) hanno migliorato significativamente la comprensione visiva 2D, stimolando l'interesse per la loro applicazione a compiti complessi di ragionamento 3D. Tuttavia, rimane poco chiaro se questi modelli possano catturare efficacemente le dettagliate informazioni spaziali necessarie per prestazioni robuste nel mondo reale, in particolare la coerenza cross-view, un requisito chiave per un ragionamento 3D accurato. Considerando questa problematica, introduciamo il Viewpoint Learning, un compito progettato per valutare e migliorare le capacità di ragionamento spaziale degli MLLM. Presentiamo il dataset Viewpoint-100K, composto da 100K coppie di immagini centrate su oggetti con punti di vista diversificati e corrispondenti coppie domanda-risposta. Il nostro approccio utilizza una strategia di fine-tuning a due stadi: in primo luogo, la conoscenza di base viene iniettata nell'MLLM di partenza tramite Fine-Tuning Supervisionato (SFT) su Viewpoint-100K, ottenendo miglioramenti significativi in molteplici compiti; in secondo luogo, la generalizzazione viene potenziata attraverso l'Apprendimento per Rinforzo utilizzando l'algoritmo di Ottimizzazione delle Politiche Relative di Gruppo (GRPO) su un insieme più ampio di domande. Inoltre, introduciamo un metodo di inizializzazione ibrido cold-start progettato per apprendere simultaneamente le rappresentazioni dei punti di vista e mantenere un pensiero di ragionamento coerente. I risultati sperimentali mostrano che il nostro approccio attiva significativamente la capacità di ragionamento spaziale dell'MLLM, migliorando le prestazioni sia in compiti di ragionamento in-dominio che out-of-domain. I nostri risultati evidenziano il valore dello sviluppo di abilità spaziali fondamentali negli MLLM, supportando i progressi futuri nella robotica, nei sistemi autonomi e nella comprensione di scene 3D.

English

Recent advances in Multimodal Large Language Models (MLLMs) have significantly improved 2D visual understanding, prompting interest in their application to complex 3D reasoning tasks. However, it remains unclear whether these models can effectively capture the detailed spatial information required for robust real-world performance, especially cross-view consistency, a key requirement for accurate 3D reasoning. Considering this issue, we introduce Viewpoint Learning, a task designed to evaluate and improve the spatial reasoning capabilities of MLLMs. We present the Viewpoint-100K dataset, consisting of 100K object-centric image pairs with diverse viewpoints and corresponding question-answer pairs. Our approach employs a two-stage fine-tuning strategy: first, foundational knowledge is injected to the baseline MLLM via Supervised Fine-Tuning (SFT) on Viewpoint-100K, resulting in significant improvements across multiple tasks; second, generalization is enhanced through Reinforcement Learning using the Group Relative Policy Optimization (GRPO) algorithm on a broader set of questions. Additionally, we introduce a hybrid cold-start initialization method designed to simultaneously learn viewpoint representations and maintain coherent reasoning thinking. Experimental results show that our approach significantly activates the spatial reasoning ability of MLLM, improving performance on both in-domain and out-of-domain reasoning tasks. Our findings highlight the value of developing foundational spatial skills in MLLMs, supporting future progress in robotics, autonomous systems, and 3D scene understanding.