VerseCrafter: Dynamisches realistisches Videoweltenmodell mit 4D-geometrischer Steuerung
VerseCrafter: Dynamic Realistic Video World Model with 4D Geometric Control
January 8, 2026
papers.authors: Sixiao Zheng, Minghao Yin, Wenbo Hu, Xiaoyu Li, Ying Shan, Yanwei Fu
cs.AI
papers.abstract
Videoweltenmodelle zielen darauf ab, dynamische, realweltliche Umgebungen zu simulieren, doch bestehende Methoden haben Schwierigkeiten, eine einheitliche und präzise Steuerung der Kamera- und Multi-Objekt-Bewegung zu ermöglichen, da Videos die Dynamik inhärent in der projizierten 2D-Bildebene abbilden. Um diese Lücke zu schließen, stellen wir VerseCrafter vor, ein 4D-bewusstes Videoweltenmodell, das eine explizite und kohärente Steuerung sowohl der Kamera- als auch der Objektdynamik innerhalb eines einheitlichen 4D-geometrischen Weltzustands ermöglicht. Unser Ansatz konzentriert sich auf eine neuartige 4D-Geometrische-Steuerungs-Repräsentation, die den Weltzustand durch eine statische Hintergrund-Punktwolke und pro-Objekt-3D-Gauß-Trajektorien kodiert. Diese Repräsentation erfasst nicht nur den Pfad eines Objekts, sondern auch seine probabilistische 3D-Belegung über die Zeit und bietet damit eine flexible, kategorieagnostische Alternative zu starren Begrenzungsrahmen oder parametrischen Modellen. Diese 4D-Steuerungen werden zu Konditionierungssignalen für ein vortrainiertes Videodiffusionsmodell gerendert, was die Erzeugung von hochwertigen, blickkonsistenten Videos ermöglicht, die exakt den vorgegebenen Dynamiken folgen. Eine weitere große Herausforderung liegt leider in der Knappheit an großangelegten Trainingsdaten mit expliziten 4D-Annotationen. Wir begegnen dem durch die Entwicklung einer automatischen Daten-Engine, die die erforderlichen 4D-Steuerungen aus unkontrolliert aufgenommenen Videos extrahiert, was es uns erlaubt, unser Modell auf einem massiven und diversen Datensatz zu trainieren.
English
Video world models aim to simulate dynamic, real-world environments, yet existing methods struggle to provide unified and precise control over camera and multi-object motion, as videos inherently operate dynamics in the projected 2D image plane. To bridge this gap, we introduce VerseCrafter, a 4D-aware video world model that enables explicit and coherent control over both camera and object dynamics within a unified 4D geometric world state. Our approach is centered on a novel 4D Geometric Control representation, which encodes the world state through a static background point cloud and per-object 3D Gaussian trajectories. This representation captures not only an object's path but also its probabilistic 3D occupancy over time, offering a flexible, category-agnostic alternative to rigid bounding boxes or parametric models. These 4D controls are rendered into conditioning signals for a pretrained video diffusion model, enabling the generation of high-fidelity, view-consistent videos that precisely adhere to the specified dynamics. Unfortunately, another major challenge lies in the scarcity of large-scale training data with explicit 4D annotations. We address this by developing an automatic data engine that extracts the required 4D controls from in-the-wild videos, allowing us to train our model on a massive and diverse dataset.