WorldDirector: 지속적 동적 메모리를 갖춘 제어 가능한 세계 시뮬레이터 구축

초록

본 논문에서는 지속적 동적 객체 메모리와 제약 없는 시점 탐색을 위해 설계된 고도로 제어 가능한 비디오 세계 모델 프레임워크인 WorldDirector를 제시한다. 물리적 역학을 픽셀 렌더링과 결합하고 지속적인 시각적 관찰에 의존하여 움직임을 유지하는 기존 세계 모델과 달리, 본 프레임워크는 의미적 움직임 조율을 시각적 생성으로부터 명시적으로 분리한다. LLM을 활용하여 3D 궤적을 카메라 움직임과 조정하고, 이후 이렇게 조율된 궤적을 비디오 생성을 위한 제어 신호로 사용함으로써, 본 접근법은 엄격한 물리적 논리와 외관 안정성을 보장하며, 동적인 개체가 오랜 기간 시야에서 벗어났다가 다시 장면에 재진입하더라도 정확한 시각적 정체성을 성공적으로 유지한다. 실험 결과는 본 방법이 전례 없는 제어 가능성과 지속적 동적 객체 메모리를 통해 복잡하고 확장된 이벤트 합성을 지원함을 보여준다. 프로젝트 페이지: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/