VerseCrafter: Modelo Dinâmico de Mundo de Vídeo Realista com Controle Geométrico 4D
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
January 8, 2026
Autores: Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu
cs.AI
Resumo
Os modelos de mundo em vídeo visam simular ambientes dinâmicos do mundo real, mas os métodos existentes lutam para fornecer controle unificado e preciso sobre a câmera e o movimento de múltiplos objetos, uma vez que os vídeos operam inerentemente dinâmicas no plano de imagem 2D projetado. Para preencher essa lacuna, apresentamos o VerseCrafter, um modelo de mundo em vídeo com consciência 4D que permite o controle explícito e coerente tanto da dinâmica da câmera quanto dos objetos dentro de um estado mundial geométrico 4D unificado. Nossa abordagem centra-se numa nova representação de Controle Geométrico 4D, que codifica o estado mundial através de uma nuvem de pontos de fundo estática e trajetórias de Gaussianas 3D por objeto. Esta representação captura não apenas o caminho de um objeto, mas também a sua ocupação probabilística 3D ao longo do tempo, oferecendo uma alternativa flexível e agnóstica a categorias, em oposição a modelos de caixas delimitadoras rígidas ou paramétricos. Estes controles 4D são renderizados em sinais de condicionamento para um modelo de difusão de vídeo pré-treinado, permitindo a geração de vídeos de alta fidelidade e com consistência de visualização que aderem precisamente às dinâmicas especificadas. Infelizmente, outro grande desafio reside na escassez de dados de treino em larga escala com anotações 4D explícitas. Resolvemos isto desenvolvendo um motor de dados automático que extrai os controles 4D necessários a partir de vídeos do mundo real, permitindo-nos treinar nosso modelo num conjunto de dados massivo e diversificado.
English
Video world models aim to simulate dynamic, real-world environments, yet existing methods struggle to provide unified and precise control over camera and multi-object motion, as videos inherently operate dynamics in the projected 2D image plane. To bridge this gap, we introduce VerseCrafter, a 4D-aware video world model that enables explicit and coherent control over both camera and object dynamics within a unified 4D geometric world state. Our approach is centered on a novel 4D Geometric Control representation, which encodes the world state through a static background point cloud and per-object 3D Gaussian trajectories. This representation captures not only an object's path but also its probabilistic 3D occupancy over time, offering a flexible, category-agnostic alternative to rigid bounding boxes or parametric models. These 4D controls are rendered into conditioning signals for a pretrained video diffusion model, enabling the generation of high-fidelity, view-consistent videos that precisely adhere to the specified dynamics. Unfortunately, another major challenge lies in the scarcity of large-scale training data with explicit 4D annotations. We address this by developing an automatic data engine that extracts the required 4D controls from in-the-wild videos, allowing us to train our model on a massive and diverse dataset.