VerseCrafter: Modello Dinamico di Mondi Video Realistici con Controllo Geometrico 4D
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
January 8, 2026
Autori: Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu
cs.AI
Abstract
I modelli video del mondo mirano a simulare ambienti dinamici e realistici, ma i metodi esistenti faticano a fornire un controllo unificato e preciso sul movimento della telecamera e di oggetti multipli, poiché i video operano intrinsecamente le dinamiche nel piano dell'immagine 2D proiettata. Per colmare questa lacuna, introduciamo VerseCrafter, un modello video del mondo consapevole della 4D che abilita un controllo esplicito e coerente sia sulla dinamica della telecamera che su quella degli oggetti all'interno di uno stato mondiale geometrico 4D unificato. Il nostro approccio è incentrato su una nuova rappresentazione di Controllo Geometrico 4D, che codifica lo stato del mondo attraverso una nuvola di punti statica per lo sfondo e traiettorie di Gaussiane 3D per oggetto. Questa rappresentazione cattura non solo il percorso di un oggetto, ma anche la sua occupazione probabilistica 3D nel tempo, offrendo un'alternativa flessibile e indipendente dalla categoria ai bounding box rigidi o ai modelli parametrici. Questi controlli 4D vengono renderizzati in segnali di condizionamento per un modello di diffusione video pre-addestrato, permettendo la generazione di video ad alta fedeltà e con vista consistente che aderiscono precisamente alle dinamiche specificate. Sfortunatamente, un'ulteriore sfida principale risiede nella scarsità di dati di addestramento su larga scala con annotazioni 4D esplicite. Affrontiamo questo problema sviluppando un motore di dati automatico che estrae i controlli 4D richiesti da video in-the-wild, consentendoci di addestrare il nostro modello su un dataset massiccio e diversificato.
English
Video world models aim to simulate dynamic, real-world environments, yet existing methods struggle to provide unified and precise control over camera and multi-object motion, as videos inherently operate dynamics in the projected 2D image plane. To bridge this gap, we introduce VerseCrafter, a 4D-aware video world model that enables explicit and coherent control over both camera and object dynamics within a unified 4D geometric world state. Our approach is centered on a novel 4D Geometric Control representation, which encodes the world state through a static background point cloud and per-object 3D Gaussian trajectories. This representation captures not only an object's path but also its probabilistic 3D occupancy over time, offering a flexible, category-agnostic alternative to rigid bounding boxes or parametric models. These 4D controls are rendered into conditioning signals for a pretrained video diffusion model, enabling the generation of high-fidelity, view-consistent videos that precisely adhere to the specified dynamics. Unfortunately, another major challenge lies in the scarcity of large-scale training data with explicit 4D annotations. We address this by developing an automatic data engine that extracts the required 4D controls from in-the-wild videos, allowing us to train our model on a massive and diverse dataset.