Skalierung räumlicher Intelligenz mit multimodalen Fundamentmodellen
Scaling Spatial Intelligence with Multimodal Foundation Models
November 17, 2025
papers.authors: Zhongang Cai, Ruisi Wang, Chenyang Gu, Fanyi Pu, Junxiang Xu, Yubo Wang, Wanqi Yin, Zhitao Yang, Chen Wei, Qingping Sun, Tongxi Zhou, Jiaqi Li, Hui En Pang, Oscar Qian, Yukun Wei, Zhiqian Lin, Xuanke Shi, Kewang Deng, Xiaoyang Han, Zukai Chen, Xiangyu Fan, Hanming Deng, Lewei Lu, Liang Pan, Bo Li, Ziwei Liu, Quan Wang, Dahua Lin, Lei Yang
cs.AI
papers.abstract
Trotz bemerkenswerter Fortschritte weisen multimodale Basismodelle immer noch überraschende Defizite in der räumlichen Intelligenz auf. In dieser Arbeit untersuchen wir die Skalierung multimodaler Basismodelle, um räumliche Intelligenz innerhalb der SenseNova-SI-Familie zu entwickeln, die auf etablierten multimodalen Grundlagen aufbaut, einschließlich visueller Verständnismodelle (d.h. Qwen3-VL und InternVL3) sowie vereinheitlichter Verständnis- und Generierungsmodelle (d.h. Bagel). Wir verfolgen einen prinzipienbasierten Ansatz zur Konstruktion hochleistungsfähiger und robuster räumlicher Intelligenz, indem wir systematisch SenseNova-SI-8M kuratieren: acht Millionen diverse Datenbeispiele unter einer rigorosen Taxonomie räumlicher Fähigkeiten. SenseNova-SI demonstriert beispiellose Leistungen über eine breite Palette von Benchmarks für räumliche Intelligenz: 68,7 % auf VSI-Bench, 43,3 % auf MMSI, 85,6 % auf MindCube, 54,6 % auf ViewSpatial und 50,1 % auf SITE, bei gleichzeitig starkem allgemeinem multimodalen Verständnis (z.B. 84,9 % auf MMBench-En). Noch wichtiger ist, dass wir die Auswirkungen der Datenskalierung analysieren, frühe Anzeichen emergenter Generalisierungsfähigkeiten durch diversives Datentraining diskutieren, das Risiko von Overfitting und Sprachabkürzungen analysieren, eine vorläufige Studie zum räumlichen Chain-of-Thought-Schließen vorstellen und das Potenzial downstream-Anwendungen validieren. SenseNova-SI ist ein laufendes Projekt, und dieser Bericht wird kontinuierlich aktualisiert. Alle neu trainierten multimodalen Basismodelle werden öffentlich zugänglich gemacht, um weitere Forschungen in dieser Richtung zu erleichtern.
English
Despite remarkable progress, multimodal foundation models still exhibit surprising deficiencies in spatial intelligence. In this work, we explore scaling up multimodal foundation models to cultivate spatial intelligence within the SenseNova-SI family, built upon established multimodal foundations including visual understanding models (i.e., Qwen3-VL and InternVL3) and unified understanding and generation models (i.e., Bagel). We take a principled approach to constructing high-performing and robust spatial intelligence by systematically curating SenseNova-SI-8M: eight million diverse data samples under a rigorous taxonomy of spatial capabilities. SenseNova-SI demonstrates unprecedented performance across a broad range of spatial intelligence benchmarks: 68.7% on VSI-Bench, 43.3% on MMSI, 85.6% on MindCube, 54.6% on ViewSpatial, and 50.1% on SITE, while maintaining strong general multimodal understanding (e.g., 84.9% on MMBench-En). More importantly, we analyze the impact of data scaling, discuss early signs of emergent generalization capabilities enabled by diverse data training, analyze the risk of overfitting and language shortcuts, present a preliminary study on spatial chain-of-thought reasoning, and validate the potential downstream application. SenseNova-SI is an ongoing project, and this report will be updated continuously. All newly trained multimodal foundation models are publicly released to facilitate further research in this direction.