VerseCrafter: Modelo Dinámico de Mundo de Video Realista con Control Geométrico 4D
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
January 8, 2026
Autores: Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu
cs.AI
Resumen
Los modelos de mundo de vídeo buscan simular entornos dinámicos del mundo real, pero los métodos existentes tienen dificultades para proporcionar un control unificado y preciso sobre el movimiento de la cámara y de múltiples objetos, ya que los vídeos operan inherentemente con dinámicas en el plano de imagen 2D proyectado. Para salvar esta brecha, presentamos VerseCrafter, un modelo de mundo de vídeo consciente del espacio 4D que permite un control explícito y coherente tanto de la dinámica de la cámara como de los objetos dentro de un estado mundial geométrico 4D unificado. Nuestro enfoque se centra en una novedosa representación de Control Geométrico 4D, que codifica el estado mundial mediante una nube de puntos de fondo estática y trayectorias de Gaussianos 3D por objeto. Esta representación captura no solo la trayectoria de un objeto, sino también su ocupación probabilística 3D a lo largo del tiempo, ofreciendo una alternativa flexible e independiente de la categoría a los rígidos cuadros delimitadores o modelos paramétricos. Estos controles 4D se renderizan en señales de condicionamiento para un modelo de difusión de vídeo preentrenado, permitiendo la generación de vídeos de alta fidelidad y consistencia visual que se adhieren precisamente a las dinámicas especificadas. Lamentablemente, otro desafío importante radica en la escasez de datos de entrenamiento a gran escala con anotaciones 4D explícitas. Abordamos esto desarrollando un motor de datos automático que extrae los controles 4D requeridos a partir de vídeos del mundo real, permitiéndonos entrenar nuestro modelo con un conjunto de datos masivo y diverso.
English
Video world models aim to simulate dynamic, real-world environments, yet existing methods struggle to provide unified and precise control over camera and multi-object motion, as videos inherently operate dynamics in the projected 2D image plane. To bridge this gap, we introduce VerseCrafter, a 4D-aware video world model that enables explicit and coherent control over both camera and object dynamics within a unified 4D geometric world state. Our approach is centered on a novel 4D Geometric Control representation, which encodes the world state through a static background point cloud and per-object 3D Gaussian trajectories. This representation captures not only an object's path but also its probabilistic 3D occupancy over time, offering a flexible, category-agnostic alternative to rigid bounding boxes or parametric models. These 4D controls are rendered into conditioning signals for a pretrained video diffusion model, enabling the generation of high-fidelity, view-consistent videos that precisely adhere to the specified dynamics. Unfortunately, another major challenge lies in the scarcity of large-scale training data with explicit 4D annotations. We address this by developing an automatic data engine that extracts the required 4D controls from in-the-wild videos, allowing us to train our model on a massive and diverse dataset.