WorldDirector : Construire des simulateurs de monde contrôlables dotés d'une mémoire dynamique persistante

Résumé

Nous présentons WorldDirector, un framework de modèle de monde vidéo hautement contrôlable conçu pour la mémoire persistante des objets dynamiques et l'exploration sans restriction des points de vue. Contrairement aux modèles de monde existants qui entremêlent la dynamique physique avec le rendu des pixels et dépendent d'une observation visuelle continue pour maintenir le mouvement, notre framework dissocie explicitement l'orchestration sémantique du mouvement de la génération visuelle. En exploitant un LLM pour coordonner les trajectoires 3D avec les mouvements de la caméra, puis en utilisant ces trajectoires orchestrées comme signaux de contrôle pour la génération vidéo, notre approche garantit une logique physique stricte et une stabilité d'apparence, préservant avec succès les identités visuelles exactes des entités dynamiques même lorsqu'elles réintègrent la scène après de longues périodes hors du champ de vision. Les résultats expérimentaux démontrent que notre méthode permet la synthèse d'événements complexes et étendus avec un contrôle sans précédent et une mémoire persistante des objets dynamiques. Page du projet : https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/