VerseCrafter : Modèle Dynamique Réaliste de Monde Vidéo avec Contrôle Géométrique 4D
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
January 8, 2026
papers.authors: Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu
cs.AI
papers.abstract
Les modèles de monde vidéo visent à simuler des environnements dynamiques et réalistes, mais les méthodes existantes peinent à offrir un contrôle unifié et précis sur le mouvement de la caméra et des multiples objets, car les vidéos opèrent intrinsèquement des dynamiques dans le plan d'image 2D projeté. Pour combler cette lacune, nous présentons VerseCrafter, un modèle de monde vidéo conscient de la 4D qui permet un contrôle explicite et cohérent à la fois sur la dynamique de la caméra et des objets au sein d'un état mondial géométrique 4D unifié. Notre approche s'articule autour d'une nouvelle représentation de Contrôle Géométrique 4D, qui encode l'état du monde via un nuage de points d'arrière-plan statique et des trajectoires de Gaussiennes 3D par objet. Cette représentation capture non seulement la trajectoire d'un objet mais aussi son occupation probabiliste 3D dans le temps, offrant une alternative flexible et agnostique aux catégories, aux modèles paramétriques ou aux boîtes englobantes rigides. Ces contrôles 4D sont rendus en signaux de conditionnement pour un modèle de diffusion vidéo préentraîné, permettant la génération de vidéos haute fidélité et cohérentes en vue qui adhèrent précisément aux dynamiques spécifiées. Malheureusement, un autre défi majeur réside dans la rareté des données d'entraînement à grande échelle comportant des annotations 4D explicites. Nous résolvons ce problème en développant un moteur de données automatique qui extrait les contrôles 4D requis de vidéos issues de conditions réelles, nous permettant d'entraîner notre modèle sur un jeu de données massif et diversifié.
English
Video world models aim to simulate dynamic, real-world environments, yet existing methods struggle to provide unified and precise control over camera and multi-object motion, as videos inherently operate dynamics in the projected 2D image plane. To bridge this gap, we introduce VerseCrafter, a 4D-aware video world model that enables explicit and coherent control over both camera and object dynamics within a unified 4D geometric world state. Our approach is centered on a novel 4D Geometric Control representation, which encodes the world state through a static background point cloud and per-object 3D Gaussian trajectories. This representation captures not only an object's path but also its probabilistic 3D occupancy over time, offering a flexible, category-agnostic alternative to rigid bounding boxes or parametric models. These 4D controls are rendered into conditioning signals for a pretrained video diffusion model, enabling the generation of high-fidelity, view-consistent videos that precisely adhere to the specified dynamics. Unfortunately, another major challenge lies in the scarcity of large-scale training data with explicit 4D annotations. We address this by developing an automatic data engine that extracts the required 4D controls from in-the-wild videos, allowing us to train our model on a massive and diverse dataset.