Eine mechanistische Sicht auf Videogenerierung als Weltmodelle: Zustand und Dynamik
A Mechanistic View on Video Generation as World Models: State and Dynamics
January 22, 2026
papers.authors: Luozhou Wang, Zhifei Chen, Yihua Du, Dongyu Yan, Wenhang Ge, Guibao Shen, Xinli Xu, Leyi Wu, Man Chen, Tianshuo Xu, Peiran Ren, Xin Tao, Pengfei Wan, Ying-Cong Chen
cs.AI
papers.abstract
Große Videogenerierungsmodelle haben ein emergentes physikalisches Kohärenzverhalten gezeigt und positionieren sich damit als potenzielle Weltmodelle. Dennoch klafft eine Lücke zwischen zeitgenössischen "zustandslosen" Videoarchitekturen und klassischen, zustandsbasierten Weltmodell-Theorien. Diese Arbeit schließt diese Lücke durch eine neuartige Taxonomie mit zwei zentralen Säulen: Zustandskonstruktion und Dynamikmodellierung. Wir kategorisieren die Zustandskonstruktion in implizite Paradigmen (Kontextmanagement) und explizite Paradigmen (latente Kompression), während die Dynamikmodellierung durch Wissensintegration und architektonische Neuformulierung analysiert wird. Darüber hinaus plädieren wir für einen Bewertungswandel von visueller Treue hin zu funktionalen Benchmarks, die physikalische Persistenz und kausales Reasoning testen. Abschließend identifizieren wir zwei kritische Forschungsfronten: die Verbesserung von Persistenz durch datengesteuerte Speicherung und komprimierte Treue sowie die Weiterentwicklung von Kausalität durch Entkopplung latenter Faktoren und Integration von Reasoning-Priors. Durch die Bewältigung dieser Herausforderungen kann sich das Feld von der Generierung visuell plausibler Videos hin zur Entwicklung robuster, allgemeiner Weltsimulatoren weiterentwickeln.
English
Large-scale video generation models have demonstrated emergent physical coherence, positioning them as potential world models. However, a gap remains between contemporary "stateless" video architectures and classic state-centric world model theories. This work bridges this gap by proposing a novel taxonomy centered on two pillars: State Construction and Dynamics Modeling. We categorize state construction into implicit paradigms (context management) and explicit paradigms (latent compression), while dynamics modeling is analyzed through knowledge integration and architectural reformulation. Furthermore, we advocate for a transition in evaluation from visual fidelity to functional benchmarks, testing physical persistence and causal reasoning. We conclude by identifying two critical frontiers: enhancing persistence via data-driven memory and compressed fidelity, and advancing causality through latent factor decoupling and reasoning-prior integration. By addressing these challenges, the field can evolve from generating visually plausible videos to building robust, general-purpose world simulators.