Schaalvergroting van ruimtelijke intelligentie met multimodale foundation-modellen
Scaling Spatial Intelligence with Multimodal Foundation Models
November 17, 2025
Auteurs: Zhongang Cai, Ruisi Wang, Chenyang Gu, Fanyi Pu, Junxiang Xu, Yubo Wang, Wanqi Yin, Zhitao Yang, Chen Wei, Qingping Sun, Tongxi Zhou, Jiaqi Li, Hui En Pang, Oscar Qian, Yukun Wei, Zhiqian Lin, Xuanke Shi, Kewang Deng, Xiaoyang Han, Zukai Chen, Xiangyu Fan, Hanming Deng, Lewei Lu, Liang Pan, Bo Li, Ziwei Liu, Quan Wang, Dahua Lin, Lei Yang
cs.AI
Samenvatting
Ondanks aanzienlijke vooruitgang vertonen multimodale foundationmodellen nog steeds verrassende tekortkomingen in ruimtelijke intelligentie. In dit werk onderzoeken we het opschalen van multimodale foundationmodellen om ruimtelijke intelligentie te ontwikkelen binnen de SenseNova-SI-familie, gebouwd op gevestigde multimodale fundamenten zoals visuele begripsmodellen (Qwen3-VL en InternVL3) en geïntegreerde begrips- en generatiemodellen (Bagel). We hanteren een principiële aanpak voor het construeren van hoogwaardige en robuuste ruimtelijke intelligentie door de systematische samenstelling van SenseNova-SI-8M: acht miljoen diverse data-exemplaren volgens een rigoureuze taxonomie van ruimtelijke capaciteiten. SenseNova-SI demonstreert ongekende prestaties op een breed scala aan ruimtelijke intelligentiebenchmarks: 68,7% op VSI-Bench, 43,3% op MMSI, 85,6% op MindCube, 54,6% op ViewSpatial en 50,1% op SITE, met behoud van sterk algemeen multimodaal begrip (bijvoorbeeld 84,9% op MMBench-En). Belangrijker nog: we analyseren de impact van dataschaling, bespreken vroege signalen van emergent generalisatievermogen door diverse datatraining, onderzoeken het risico van overfitting en taalkundige shortcuts, presenteren een voorlopige studie naar ruimtelijke chain-of-thought-redenering en valideren de potentiële downstream-toepassing. SenseNova-SI is een doorlopend project, en dit rapport zal continu worden bijgewerkt. Alle nieuw getrainde multimodale foundationmodellen worden openbaar vrijgegeven om verder onderzoek in deze richting te faciliteren.
English
Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction.