Una visione meccanicistica della generazione video come modelli del mondo: stati e dinamiche
A Mechanistic View on Video Generation as World Models: State and Dynamics
January 22, 2026
Autori: Luozhou Wang, Zhifei Chen, Yihua Du, Dongyu Yan, Wenhang Ge, Guibao Shen, Xinli Xu, Leyi Wu, Man Chen, Tianshuo Xu, Peiran Ren, Xin Tao, Pengfei Wan, Ying-Cong Chen
cs.AI
Abstract
I modelli di generazione video su larga scala hanno dimostrato una coerenza fisica emergente, posizionandosi come potenziali modelli del mondo. Tuttavia, persiste un divario tra le architetture video contemporanee "senza stato" e le teorie classiche sui modelli del mondo centrate sullo stato. Questo lavoro colma tale divario proponendo una nuova tassonomia incentrata su due pilastri: Costruzione dello Stato e Modellazione della Dinamica. Classifichiamo la costruzione dello stato in paradigmi impliciti (gestione del contesto) ed espliciti (compressione latente), mentre la modellazione della dinamica viene analizzata attraverso l'integrazione della conoscenza e la riformulazione architetturale. Inoltre, sosteniamo una transizione nella valutazione dalla fedeltà visiva a benchmark funzionali, testando la persistenza fisica e il ragionamento causale. Concludiamo identificando due frontiere critiche: potenziare la persistenza tramite memoria data-driven e fedeltà compressa, e far progredire la causalità attraverso il disaccoppiamento dei fattori latenti e l'integrazione di prior di ragionamento. Affrontando queste sfide, il campo può evolversi dalla generazione di video visivamente plausibili alla costruzione di simulatori del mondo robusti e a scopo generale.
English
Large-scale video generation models have demonstrated emergent physical coherence, positioning them as potential world models. However, a gap remains between contemporary "stateless" video architectures and classic state-centric world model theories. This work bridges this gap by proposing a novel taxonomy centered on two pillars: State Construction and Dynamics Modeling. We categorize state construction into implicit paradigms (context management) and explicit paradigms (latent compression), while dynamics modeling is analyzed through knowledge integration and architectural reformulation. Furthermore, we advocate for a transition in evaluation from visual fidelity to functional benchmarks, testing physical persistence and causal reasoning. We conclude by identifying two critical frontiers: enhancing persistence via data-driven memory and compressed fidelity, and advancing causality through latent factor decoupling and reasoning-prior integration. By addressing these challenges, the field can evolve from generating visually plausible videos to building robust, general-purpose world simulators.