Een mechanistische kijk op videogeneratie als wereldmodellen: toestand en dynamiek
A Mechanistic View on Video Generation as World Models: State and Dynamics
January 22, 2026
Auteurs: Luozhou Wang, Zhifei Chen, Yihua Du, Dongyu Yan, Wenhang Ge, Guibao Shen, Xinli Xu, Leyi Wu, Man Chen, Tianshuo Xu, Peiran Ren, Xin Tao, Pengfei Wan, Ying-Cong Chen
cs.AI
Samenvatting
Grootschalige videogeneratiemodellen hebben emergent fysisch coherentie gedemonstreerd, waardoor ze zich positioneren als potentiële wereldmodellen. Er blijft echter een kloof bestaan tussen hedendaagge "stateloze" video-architecturen en klassieke, op toestanden gerichte wereldmodeltheorieën. Dit werk overbrugt deze kloof door een nieuwe taxonomie voor te stellen die draait om twee pijlers: Toestandsconstructie en Dynamiekmodellering. We categoriseren toestandsconstructie in impliciete paradigma's (contextmanagement) en expliciete paradigma's (latente compressie), terwijl dynamiekmodellering wordt geanalyseerd door kennisintegratie en architectuurherformulering. Verder pleiten we voor een verschuiving in evaluatie van visuele geloofwaardigheid naar functionele benchmarks, waarbij fysisch persistentie en causaal redeneren worden getest. We sluiten af door twee kritieke fronten te identificeren: het verbeteren van persistentie via data-gedreven geheugen en gecomprimeerde geloofwaardigheid, en het bevorderen van causaliteit door ontkoppeling van latente factoren en integratie van redeneer-priors. Door deze uitdagingen aan te pakken, kan het veld evolueren van het genereren van visueel geloofwaardige video's naar het bouwen van robuuste, algemene wereldsimulators.
English
Large-scale video generation models have demonstrated emergent physical coherence, positioning them as potential world models. However, a gap remains between contemporary "stateless" video architectures and classic state-centric world model theories. This work bridges this gap by proposing a novel taxonomy centered on two pillars: State Construction and Dynamics Modeling. We categorize state construction into implicit paradigms (context management) and explicit paradigms (latent compression), while dynamics modeling is analyzed through knowledge integration and architectural reformulation. Furthermore, we advocate for a transition in evaluation from visual fidelity to functional benchmarks, testing physical persistence and causal reasoning. We conclude by identifying two critical frontiers: enhancing persistence via data-driven memory and compressed fidelity, and advancing causality through latent factor decoupling and reasoning-prior integration. By addressing these challenges, the field can evolve from generating visually plausible videos to building robust, general-purpose world simulators.