INSPATIO-WERELD: Een Real-Time 4D Wereldsimulator via Spatiotemporeel Autoregressief Modelleren

Samenvatting

Het ontwikkelen van wereldmodellen met ruimtelijke consistentie en realtime interactiviteit blijft een fundamentele uitdaging in de computer vision. Huidige videogeneratieparadigma's kampen vaak met een gebrek aan ruimtelijke persistentie en onvoldoende visuele realisme, wat naadloze navigatie in complexe omgevingen bemoeilijkt. Om deze problemen aan te pakken, presenteren wij INSPATIO-WORLD, een nieuw realtime framework dat hoogwaardige, dynamische interactieve scènes kan reconstrueren en genereren vanuit een enkele referentievideo. De kern van onze aanpak wordt gevormd door een Spatiotemporeel Autoregressief (STAR) architectuur, die consistente en controleerbare scène-evolutie mogelijk maakt via twee nauw gekoppelde componenten: een Impliciete Spatiotemporele Cache aggregeert referentie- en historische observaties tot een latente wereldrepresentatie, wat globale consistentie tijdens navigatie over lange trajecten waarborgt; een Expliciete Ruimtelijke Beperkingsmodule handhaaft de geometrische structuur en vertaalt gebruikersinteracties naar precieze en fysisch plausibele cameratrajecten. Verder introduceren wij Joint Distribution Matching Distillation (JDMD). Door real-world datadistributies als regulerende gids te gebruiken, overbrugt JDMD effectief de kwaliteitsachteruitgang die typisch ontstaat door overmatige afhankelijkheid van synthetische data. Uitgebreide experimenten tonen aan dat INSPATIO-WORLD bestaande state-of-the-art (SOTA) modellen significant overtreft in ruimtelijke consistentie en interactieprecisie, een eerste positie behaalt onder realtime interactieve methoden op de WorldScore-Dynamic benchmark, en een praktische pijplijn vestigt voor het navigeren in 4D-omgevingen gereconstrueerd vanuit monocular video's.

English

Building world models with spatial consistency and real-time interactivity remains a fundamental challenge in computer vision. Current video generation paradigms often struggle with a lack of spatial persistence and insufficient visual realism, making it difficult to support seamless navigation in complex environments. To address these challenges, we propose INSPATIO-WORLD, a novel real-time framework capable of recovering and generating high-fidelity, dynamic interactive scenes from a single reference video. At the core of our approach is a Spatiotemporal Autoregressive (STAR) architecture, which enables consistent and controllable scene evolution through two tightly coupled components: Implicit Spatiotemporal Cache aggregates reference and historical observations into a latent world representation, ensuring global consistency during long-horizon navigation; Explicit Spatial Constraint Module enforces geometric structure and translates user interactions into precise and physically plausible camera trajectories. Furthermore, we introduce Joint Distribution Matching Distillation (JDMD). By using real-world data distributions as a regularizing guide, JDMD effectively overcomes the fidelity degradation typically caused by over-reliance on synthetic data. Extensive experiments demonstrate that INSPATIO-WORLD significantly outperforms existing state-of-the-art (SOTA) models in spatial consistency and interaction precision, ranking first among real-time interactive methods on the WorldScore-Dynamic benchmark, and establishing a practical pipeline for navigating 4D environments reconstructed from monocular videos.

INSPATIO-WERELD: Een Real-Time 4D Wereldsimulator via Spatiotemporeel Autoregressief Modelleren

INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling

Samenvatting

Support