Scalabilità dell'Intelligenza Spaziale con Modelli Fondazionali Multimodali
Scaling Spatial Intelligence with Multimodal Foundation Models
November 17, 2025
Autori: Zhongang Cai, Ruisi Wang, Chenyang Gu, Fanyi Pu, Junxiang Xu, Yubo Wang, Wanqi Yin, Zhitao Yang, Chen Wei, Qingping Sun, Tongxi Zhou, Jiaqi Li, Hui En Pang, Oscar Qian, Yukun Wei, Zhiqian Lin, Xuanke Shi, Kewang Deng, Xiaoyang Han, Zukai Chen, Xiangyu Fan, Hanming Deng, Lewei Lu, Liang Pan, Bo Li, Ziwei Liu, Quan Wang, Dahua Lin, Lei Yang
cs.AI
Abstract
Nonostante i progressi significativi, i modelli fondazionali multimodali continuano a mostrare carenze sorprendenti nell'intelligenza spaziale. In questo lavoro, esploriamo il potenziamento dei modelli fondazionali multimodali per sviluppare l'intelligenza spaziale all'interno della famiglia SenseNova-SI, costruita su basi multimodali consolidate che includono modelli di comprensione visiva (ovvero Qwen3-VL e InternVL3) e modelli unificati di comprensione e generazione (ovvero Bagel). Adottiamo un approccio metodologico per costruire un'intelligenza spaziale robusta e ad alte prestazioni, curando sistematicamente SenseNova-SI-8M: otto milioni di campioni dati diversificati secondo una tassonomia rigorosa delle capacità spaziali. SenseNova-SI dimostra prestazioni senza precedenti su un'ampia gamma di benchmark di intelligenza spaziale: 68,7% su VSI-Bench, 43,3% su MMSI, 85,6% su MindCube, 54,6% su ViewSpatial e 50,1% su SITE, mantenendo al contempo una solida comprensione multimodale generale (ad esempio, 84,9% su MMBench-En). Ancora più importante, analizziamo l'impatto del scaling dei dati, discutiamo i primi segni di capacità di generalizzazione emergenti abilitate dall'addestramento con dati diversificati, esaminiamo il rischio di overfitting e scorciatoie linguistiche, presentiamo uno studio preliminare sul ragionamento a catena spaziale (spatial chain-of-thought) e convalidiamo la potenziale applicazione downstream. SenseNova-SI è un progetto in evoluzione, e questo rapporto sarà aggiornato continuamente. Tutti i nuovi modelli fondazionali multimodali addestrati vengono rilasciati pubblicamente per facilitare ulteriori ricerche in questa direzione.
English
Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction.