Mise à l'échelle de l'intelligence spatiale avec des modèles de fondation multimodaux
Scaling Spatial Intelligence with Multimodal Foundation Models
November 17, 2025
papers.authors: Zhongang Cai, Ruisi Wang, Chenyang Gu, Fanyi Pu, Junxiang Xu, Yubo Wang, Wanqi Yin, Zhitao Yang, Chen Wei, Qingping Sun, Tongxi Zhou, Jiaqi Li, Hui En Pang, Oscar Qian, Yukun Wei, Zhiqian Lin, Xuanke Shi, Kewang Deng, Xiaoyang Han, Zukai Chen, Xiangyu Fan, Hanming Deng, Lewei Lu, Liang Pan, Bo Li, Ziwei Liu, Quan Wang, Dahua Lin, Lei Yang
cs.AI
papers.abstract
Malgré des progrès remarquables, les modèles de fondation multimodaux présentent encore des lacunes surprenantes en intelligence spatiale. Dans ce travail, nous explorons la mise à l'échelle des modèles de fondation multimodaux pour développer l'intelligence spatiale au sein de la famille SenseNova-SI, construite sur des bases multimodales établies incluant des modèles de compréhension visuelle (Qwen3-VL et InternVL3) et des modèles unifiés de compréhension et de génération (Bagel). Nous adoptons une approche méthodique pour construire une intelligence spatiale performante et robuste en constituant systématiquement SenseNova-SI-8M : huit millions d'échantillons de données diversifiés selon une taxonomie rigoureuse des capacités spatiales. SenseNova-SI démontre des performances sans précédent sur un large éventail de benchmarks d'intelligence spatiale : 68,7% sur VSI-Bench, 43,3% sur MMSI, 85,6% sur MindCube, 54,6% sur ViewSpatial et 50,1% sur SITE, tout en maintenant une solide compréhension multimodale générale (84,9% sur MMBench-En). Plus important encore, nous analysons l'impact de la mise à l'échelle des données, discutons des signes précoces de capacités de généralisation émergentes permis par l'entraînement sur des données diversifiées, analysons le risque de surapprentissage et de raccourcis linguistiques, présentons une étude préliminaire sur le raisonnement spatial en chaîne de pensée et validons l'application en aval potentielle. SenseNova-SI est un projet continu, et ce rapport sera mis à jour régulièrement. Tous les nouveaux modèles de fondation multimodaux entraînés sont publiés publiquement pour faciliter les recherches ultérieures dans cette direction.
English
Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction.