비디오 생성의 메커니즘적 관점: 세계 모델로서의 상태와 역학

초록

대규모 영상 생성 모델은 물리적 일관성의 출현을 보여주며 잠재적인 세계 모델로서의 가능성을 입증하고 있습니다. 그러나 현대적인 "상태 비의존적" 비디오 아키텍처와 고전적인 상태 중심 세계 모델 이론 사이에는 여전히 간극이 존재합니다. 본 연구는 '상태 구축'과 '역학 모델링'이라는 두 축을 중심으로 한 새로운 분류 체계를 제안하여 이 간극을 해소하고자 합니다. 상태 구축은 암묵적 패러다임(맥락 관리)과 명시적 패러다임(잠재 공간 압축)으로 분류하며, 역학 모델링은 지식 통합과 아키텍처 재구성을 통해 분석합니다. 더 나아가 평가의 초점을 시각적 충실도에서 기능적 벤치마크로 전환할 것을 제안하며, 물리적 지속성과 인과적 추론 능력을 검증하는 방안을 제시합니다. 마지막으로 데이터 기반 메모리와 압축 충실도를 통한 지속성 향상, 잠재 요인 분리와 추론-사전 정보 통합을 통한 인과성 발전이라는 두 가지 중요한 과제를 제시합니다. 이러한 과제를 해결함으로써 해당 분야는 시각적으로 그럴듯한 영상을 생성하는 수준을 넘어 강건하고 범용적인 세계 시뮬레이터를 구축하는 방향으로 진화할 수 있을 것입니다.

English

Large-scale video generation models have demonstrated emergent physical coherence, positioning them as potential world models. However, a gap remains between contemporary "stateless" video architectures and classic state-centric world model theories. This work bridges this gap by proposing a novel taxonomy centered on two pillars: State Construction and Dynamics Modeling. We categorize state construction into implicit paradigms (context management) and explicit paradigms (latent compression), while dynamics modeling is analyzed through knowledge integration and architectural reformulation. Furthermore, we advocate for a transition in evaluation from visual fidelity to functional benchmarks, testing physical persistence and causal reasoning. We conclude by identifying two critical frontiers: enhancing persistence via data-driven memory and compressed fidelity, and advancing causality through latent factor decoupling and reasoning-prior integration. By addressing these challenges, the field can evolve from generating visually plausible videos to building robust, general-purpose world simulators.

비디오 생성의 메커니즘적 관점: 세계 모델로서의 상태와 역학

A Mechanistic View on Video Generation as World Models: State and Dynamics

초록

Support