Escalando la Inteligencia Espacial con Modelos Fundacionales Multimodales
Scaling Spatial Intelligence with Multimodal Foundation Models
November 17, 2025
Autores: Zhongang Cai, Ruisi Wang, Chenyang Gu, Fanyi Pu, Junxiang Xu, Yubo Wang, Wanqi Yin, Zhitao Yang, Chen Wei, Qingping Sun, Tongxi Zhou, Jiaqi Li, Hui En Pang, Oscar Qian, Yukun Wei, Zhiqian Lin, Xuanke Shi, Kewang Deng, Xiaoyang Han, Zukai Chen, Xiangyu Fan, Hanming Deng, Lewei Lu, Liang Pan, Bo Li, Ziwei Liu, Quan Wang, Dahua Lin, Lei Yang
cs.AI
Resumen
A pesar de los notables avances, los modelos fundacionales multimodales aún presentan deficiencias sorprendentes en inteligencia espacial. En este trabajo, exploramos el escalado de modelos fundacionales multimodales para cultivar la inteligencia espacial dentro de la familia SenseNova-SI, construida sobre bases multimodales establecidas que incluyen modelos de comprensión visual (es decir, Qwen3-VL e InternVL3) y modelos unificados de comprensión y generación (es decir, Bagel). Adoptamos un enfoque metódico para construir una inteligencia espacial robusta y de alto rendimiento mediante la curación sistemática de SenseNova-SI-8M: ocho millones de muestras de datos diversas bajo una taxonomía rigurosa de capacidades espaciales. SenseNova-SI demuestra un rendimiento sin precedentes en una amplia gama de benchmarks de inteligencia espacial: 68.7% en VSI-Bench, 43.3% en MMSI, 85.6% en MindCube, 54.6% en ViewSpatial y 50.1% en SITE, manteniendo al mismo tiempo una sólida comprensión multimodal general (por ejemplo, 84.9% en MMBench-En). Más importante aún, analizamos el impacto del escalado de datos, discutimos los primeros indicios de capacidades de generalización emergentes habilitadas por el entrenamiento con datos diversos, analizamos el riesgo de sobreajuste y los atajos lingüísticos, presentamos un estudio preliminar sobre el razonamiento de cadena de pensamiento espacial y validamos la potencial aplicación en tareas específicas. SenseNova-SI es un proyecto en curso, y este informe se actualizará continuamente. Todos los modelos fundacionales multimodales recién entrenados se publican para facilitar futuras investigaciones en esta dirección.
English
Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction.