VerseCrafter: 4D 기하 제어를 통한 동적 현실적 비디오 세계 모델
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
January 8, 2026
저자: Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu
cs.AI
초록
비디오 세계 모델은 역동적인 현실 세계 환경을 시뮬레이션하는 것을 목표로 하지만, 기존 방법들은 비디오가 본질적으로 투영된 2D 이미지 평면에서 동역학을 운영하기 때문에 카메라 및 다중 객체 운동에 대한 통합적이고 정밀한 제어를 제공하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해 우리는 통합된 4D 기하학적 세계 상태 내에서 카메라와 객체 동역학 모두에 대한 명시적이고 일관된 제어를 가능하게 하는 4D 인식 비디오 세계 모델인 VerseCrafter를 소개합니다. 우리의 접근 방식은 정적 배경 포인트 클라우드와 객체별 3D 가우시안 궤적을 통해 세계 상태를 인코딩하는 새로운 4D 기하학적 제어 표현을 중심으로 합니다. 이 표현은 객체의 경로뿐만 아니라 시간에 따른 확률적 3D 점유율도 포착하여, 경직된 바운딩 박스나 매개변수 모델에 대한 유연하고 범주에 구애받지 않는 대안을 제공합니다. 이러한 4D 제어는 사전 학습된 비디오 확산 모델의 조건화 신호로 렌더링되어, 지정된 동역학을 정확히 준수하는 고품질의 뷰 일관성 비디오 생성을 가능하게 합니다. 그러나 또 다른 주요 과제는 명시적인 4D 주석이 있는 대규모 훈련 데이터의 부족에 있습니다. 우리는 이를 위해 실제 환경의 비디오에서 필요한 4D 제어를 추출하는 자동 데이터 엔진을 개발하여 대규모이고 다양한 데이터셋으로 우리 모델을 훈련할 수 있도록 했습니다.
English
Video world models aim to simulate dynamic, real-world environments, yet existing methods struggle to provide unified and precise control over camera and multi-object motion, as videos inherently operate dynamics in the projected 2D image plane. To bridge this gap, we introduce VerseCrafter, a 4D-aware video world model that enables explicit and coherent control over both camera and object dynamics within a unified 4D geometric world state. Our approach is centered on a novel 4D Geometric Control representation, which encodes the world state through a static background point cloud and per-object 3D Gaussian trajectories. This representation captures not only an object's path but also its probabilistic 3D occupancy over time, offering a flexible, category-agnostic alternative to rigid bounding boxes or parametric models. These 4D controls are rendered into conditioning signals for a pretrained video diffusion model, enabling the generation of high-fidelity, view-consistent videos that precisely adhere to the specified dynamics. Unfortunately, another major challenge lies in the scarcity of large-scale training data with explicit 4D annotations. We address this by developing an automatic data engine that extracts the required 4D controls from in-the-wild videos, allowing us to train our model on a massive and diverse dataset.