WorldDirector: Het bouwen van controleerbare wereldsimulatoren met persistent dynamisch geheugen

Samenvatting

We presenteren WorldDirector, een zeer stuurbaar videowereldmodelframework dat is ontworpen voor blijvend dynamisch objectgeheugen en onbeperkte verkenning van het gezichtspunt. In tegenstelling tot bestaande wereldmodellen die fysieke dynamiek verweven met pixelrendering en afhankelijk zijn van continue visuele observatie om beweging in stand te houden, ontkoppelt ons framework expliciet semantische bewegingsorkestratie van visuele generatie. Door gebruik te maken van een LLM om 3D-trajecten te coördineren met camerabewegingen en vervolgens deze georkestreerde trajecten in te zetten als sturingssignalen voor videogeneratie, garandeert onze aanpak strikte fysische logica en uiterlijkstabiliteit, met succes de exacte visuele identiteiten van dynamische entiteiten behouden, zelfs wanneer ze na langdurige perioden uit het zicht opnieuw de scène betreden. Experimentele resultaten tonen aan dat onze methode de synthese van complexe en langdurige gebeurtenissen ondersteunt met ongekende stuurbaarheid en blijvend dynamisch objectgeheugen. Projectpagina: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/