WorldDirector: Aufbau steuerbarer Weltsimulatoren mit persistentem dynamischen Speicher

Zusammenfassung

Wir stellen WorldDirector vor, ein hochgradig steuerbares Video-Weltmodell-Framework, das für persistentes dynamisches Objektgedächtnis und uneingeschränkte Blickwinkelerkundung entwickelt wurde. Im Gegensatz zu bestehenden Weltmodellen, die physikalische Dynamik mit Pixel-Rendering verknüpfen und auf kontinuierliche visuelle Beobachtung angewiesen sind, um Bewegung aufrechtzuerhalten, entkoppelt unser Framework explizit die semantische Bewegungssteuerung von der visuellen Generierung. Durch die Nutzung eines LLM zur Koordination von 3D-Trajektorien mit Kamerabewegungen und die anschließende Verwendung dieser orchestrierten Trajektorien als Steuersignale für die Videogenerierung gewährleistet unser Ansatz strenge physikalische Logik und Erscheinungsstabilität, wodurch die genauen visuellen Identitäten dynamischer Entitäten selbst dann erfolgreich erhalten bleiben, wenn sie nach längeren Zeiträumen außerhalb des Sichtfelds wieder in die Szene eintreten. Experimentelle Ergebnisse zeigen, dass unsere Methode die Synthese komplexer und langanhaltender Ereignisse mit beispielloser Steuerbarkeit und persistentem dynamischen Objektgedächtnis unterstützt. Projektseite: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/