WorldDirector: Construindo Simuladores de Mundo Controláveis com Memória Dinâmica Persistente

Resumo

Apresentamos o WorldDirector, uma estrutura de modelo de mundo de vídeo altamente controlável, projetada para memória persistente de objetos dinâmicos e exploração irrestrita de pontos de vista. Diferentemente dos modelos de mundo existentes, que entrelaçam a dinâmica física com a renderização de pixels e dependem de observação visual contínua para sustentar o movimento, nossa estrutura separa explicitamente a orquestração semântica do movimento da geração visual. Ao utilizar um LLM para coordenar trajetórias 3D com movimentos de câmera e, subsequentemente, empregar essas trajetórias orquestradas como sinais de controle para a geração de vídeo, nossa abordagem garante lógica física rigorosa e estabilidade de aparência, preservando com sucesso as identidades visuais exatas de entidades dinâmicas, mesmo quando elas reentram em cena após longos períodos fora de vista. Resultados experimentais demonstram que nosso método suporta a síntese de eventos complexos e prolongados com controlabilidade sem precedentes e memória persistente de objetos dinâmicos. Página do projeto: https://worlddirector.github.io/

English

We present WorldDirector, a highly controllable video world model framework designed for persistent dynamic object memory and unrestricted viewpoint exploration. Unlike existing world models that entangle physical dynamics with pixel rendering and rely on continuous visual observation to sustain motion, our framework explicitly decouples semantic motion orchestration from visual generation. By leveraging an LLM to coordinate 3D trajectories with camera movements and subsequently employing these orchestrated trajectories as control signals for video generation, our approach ensures strict physical logic and appearance stability, successfully preserving the exact visual identities of dynamic entities even when they re-enter the scene after prolonged periods out of view. Experimental results demonstrate that our method supports the synthesis of complex and extended events with unprecedented controllability and persistent dynamic object memory. Project Page: https://worlddirector.github.io/