Механистический взгляд на генерацию видео как на модели мира: состояние и динамика

A Mechanistic View on Video Generation as World Models: State and Dynamics

January 22, 2026

Авторы: Luozhou Wang, Zhifei Chen, Yihua Du, Dongyu Yan, Wenhang Ge, Guibao Shen, Xinli Xu, Leyi Wu, Man Chen, Tianshuo Xu, Peiran Ren, Xin Tao, Pengfei Wan, Ying-Cong Chen

cs.AI

Аннотация

Крупномасштабные модели генерации видео продемонстрировали эмерджентную физическую согласованность, что позиционирует их в качестве потенциальных моделей мира. Однако сохраняется разрыв между современными «бессостоятельными» видеоархитектурами и классическими теориями моделей мира, ориентированными на состояние. Данная работа преодолевает этот разрыв, предлагая новую таксономию, основанную на двух столпах: Построение Состояния и Моделирование Динамики. Мы классифицируем построение состояния на имплицитные парадигмы (управление контекстом) и эксплицитные парадигмы (латентное сжатие), в то время как моделирование динамики анализируется через интеграцию знаний и архитектурную реформулировку. Кроме того, мы выступаем за переход в оценке моделей от визуального правдоподобия к функциональным бенчмаркам, тестирующим физическую устойчивость и каузальные рассуждения. В заключение мы определяем два ключевых направления: повышение устойчивости за счет данных и сжатого правдоподобия, а также развитие каузальности через развязывание латентных факторов и интеграцию априорных знаний для рассуждений. Решая эти задачи, область может эволюционировать от генерации визуально правдоподобных видео к созданию robustных универсальных симуляторов мира.

English

Large-scale video generation models have demonstrated emergent physical coherence, positioning them as potential world models. However, a gap remains between contemporary "stateless" video architectures and classic state-centric world model theories. This work bridges this gap by proposing a novel taxonomy centered on two pillars: State Construction and Dynamics Modeling. We categorize state construction into implicit paradigms (context management) and explicit paradigms (latent compression), while dynamics modeling is analyzed through knowledge integration and architectural reformulation. Furthermore, we advocate for a transition in evaluation from visual fidelity to functional benchmarks, testing physical persistence and causal reasoning. We conclude by identifying two critical frontiers: enhancing persistence via data-driven memory and compressed fidelity, and advancing causality through latent factor decoupling and reasoning-prior integration. By addressing these challenges, the field can evolve from generating visually plausible videos to building robust, general-purpose world simulators.