WorldDirector：持続的動的メモリを備えた制御可能な世界シミュレーターの構築

要旨

本稿では、高い制御性を備えた動画世界モデルフレームワーク「WorldDirector」を提案する。本フレームワークは、持続的な動的オブジェクトメモリと制約のない視点探索を実現する。物理ダイナミクスとピクセルレンダリングを混同し、動作を維持するために連続的な視覚観測に依存する既存の世界モデルとは異なり、本フレームワークは意味的動作のオーケストレーションと視覚生成を明示的に分離する。LLMを活用して3D軌跡とカメラ動作を協調させ、そのオーケストレーションされた軌跡を動画生成の制御信号として用いることで、厳密な物理論理と外観の安定性を保証し、長時間視野外に出た後に再びシーンに現れる動的エンティティの正確な視覚的同一性を保持することに成功している。実験結果は、本手法が前例のない制御性と持続的な動的オブジェクトメモリを備えた、複雑かつ長期にわたるイベントの合成をサポートすることを示している。プロジェクトページ: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/