WorldDirector: Construcción de Simuladores de Mundo Controlables con Memoria Dinámica Persistente

WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

July 2, 2026

Autores: Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Qingyan Bai, Ka Leong Cheng, Yue Yu, Yixuan Li, Yihao Meng, Zichen Liu, Yanhong Zeng, Yujun Shen, Qifeng Chen

cs.AI

Resumen

Presentamos WorldDirector, un marco de modelo de mundo de video altamente controlable diseñado para la memoria persistente de objetos dinámicos y la exploración de puntos de vista sin restricciones. A diferencia de los modelos de mundo existentes, que entrelazan la dinámica física con el renderizado de píxeles y dependen de la observación visual continua para mantener el movimiento, nuestro marco desacopla explícitamente la orquestación semántica del movimiento de la generación visual. Al aprovechar un LLM para coordinar trayectorias 3D con movimientos de cámara y posteriormente emplear estas trayectorias orquestadas como señales de control para la generación de video, nuestro enfoque garantiza una lógica física estricta y estabilidad de apariencia, preservando exitosamente las identidades visuales exactas de las entidades dinámicas incluso cuando reingresan a la escena tras períodos prolongados fuera de vista. Los resultados experimentales demuestran que nuestro método respalda la síntesis de eventos complejos y extensos con una controlabilidad sin precedentes y memoria persistente de objetos dinámicos. Página del proyecto: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/