INSPATIO-WORLD: Ein Echtzeit-4D-Weltsimulator durch spatiotemporale autoregressive Modellierung
INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling
April 8, 2026
Autoren: InSpatio Team, Donghui Shen, Guofeng Zhang, Haomin Liu, Haoyu Ji, Hujun Bao, Hongjia Zhai, Jialin Liu, Jing Guo, Nan Wang, Siji Pan, Weihong Pan, Weijian Xie, Xianbin Liu, Xiaojun Xiang, Xiaoyu Zhang, Xinyu Chen, Yifu Wang, Yipeng Chen, Zhenzhou Fan, Zhewen Le, Zhichao Ye, Ziqiang Zhao
cs.AI
Zusammenfassung
Die Entwicklung von Weltmodellen mit räumlicher Konsistenz und Echtzeit-Interaktivität bleibt eine grundlegende Herausforderung in der Computer Vision. Bestehende Videogenerierungs-Paradigmen leiden häufig unter mangelnder räumlicher Persistenz und unzureichendem visuellem Realismus, was die nahtlose Navigation in komplexen Umgebungen erschwert. Um diese Probleme zu lösen, präsentieren wir INSPATIO-WORLD, ein neuartiges Echtzeit-Framework zur Rekonstruktion und Generierung hochauflösender, dynamischer interaktiver Szenen aus einem einzelnen Referenzvideo. Kern unseres Ansatzes ist eine spatiotemporale autoregressive (STAR) Architektur, die konsistente und steuerbare Szenenentwicklung durch zwei eng gekoppelte Komponenten ermöglicht: Ein Impliziter Spatiotemporaler Cache aggregiert Referenz- und historische Beobachtungen zu einer latenten Weltrepräsentation, die globale Konsistenz während langfristiger Navigation gewährleistet. Ein Explizites Räumliches Constraint-Modul erzwingt geometrische Struktur und übersetzt Benutzerinteraktionen in präzise, physikalisch plausible Kameratrajektorien. Zudem führen wir Joint Distribution Matching Distillation (JDMD) ein. Diese Methode nutzt reale Datenverteilungen als regularisierende Leitlinie und überwindet so die typische Qualitätsverschlechterung durch übermäßige Abhängigkeit von synthetischen Daten. Umfangreiche Experimente belegen, dass INSPATIO-WORLD state-of-the-art-Modelle in räumlicher Konsistenz und Interaktionspräzision signifikant übertrifft, im WorldScore-Dynamic-Benchmark unter Echtzeit-Interaktionsmethoden den ersten Platz belegt und eine praktische Pipeline zur Navigation in rekonstruierten 4D-Umgebungen aus Monokularvideos etabliert.
English
Building world models with spatial consistency and real-time interactivity remains a fundamental challenge in computer vision. Current video generation paradigms often struggle with a lack of spatial persistence and insufficient visual realism, making it difficult to support seamless navigation in complex environments. To address these challenges, we propose INSPATIO-WORLD, a novel real-time framework capable of recovering and generating high-fidelity, dynamic interactive scenes from a single reference video. At the core of our approach is a Spatiotemporal Autoregressive (STAR) architecture, which enables consistent and controllable scene evolution through two tightly coupled components: Implicit Spatiotemporal Cache aggregates reference and historical observations into a latent world representation, ensuring global consistency during long-horizon navigation; Explicit Spatial Constraint Module enforces geometric structure and translates user interactions into precise and physically plausible camera trajectories. Furthermore, we introduce Joint Distribution Matching Distillation (JDMD). By using real-world data distributions as a regularizing guide, JDMD effectively overcomes the fidelity degradation typically caused by over-reliance on synthetic data. Extensive experiments demonstrate that INSPATIO-WORLD significantly outperforms existing state-of-the-art (SOTA) models in spatial consistency and interaction precision, ranking first among real-time interactive methods on the WorldScore-Dynamic benchmark, and establishing a practical pipeline for navigating 4D environments reconstructed from monocular videos.