WorldDirector: Построение управляемых мировых симуляторов с персистентной динамической памятью

Аннотация

Мы представляем WorldDirector — высококонтролируемую среду моделирования видео мира, разработанную для устойчивой памяти динамических объектов и неограниченного исследования точек обзора. В отличие от существующих моделей мира, которые связывают физическую динамику с рендерингом пикселей и полагаются на непрерывное визуальное наблюдение для поддержания движения, наша структура явно разделяет семантическое управление движением и визуальную генерацию. Используя LLM для координации 3D-траекторий с движениями камеры и последующего применения этих скоординированных траекторий в качестве управляющих сигналов для генерации видео, наш подход обеспечивает строгую физическую логику и стабильность внешнего вида, успешно сохраняя точные визуальные идентичности динамических сущностей, даже когда они повторно появляются в сцене после длительного отсутствия в поле зрения. Экспериментальные результаты показывают, что наш метод поддерживает синтез сложных и протяженных событий с беспрецедентной управляемостью и устойчивой памятью динамических объектов. Страница проекта: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/