Modelos de Mundo de Vídeo com Memória Espacial de Longo Prazo

Video World Models with Long-term Spatial Memory

June 5, 2025

Autores: Tong Wu, Shuai Yang, Ryan Po, Yinghao Xu, Ziwei Liu, Dahua Lin, Gordon Wetzstein

cs.AI

Resumo

Modelos de mundo emergentes geram autoregressivamente quadros de vídeo em resposta a ações, como movimentos de câmera e prompts de texto, entre outros sinais de controle. Devido ao tamanho limitado das janelas de contexto temporal, esses modelos frequentemente enfrentam dificuldades para manter a consistência da cena durante revisitas, resultando em um esquecimento severo de ambientes previamente gerados. Inspirados pelos mecanismos da memória humana, introduzimos uma nova estrutura para aprimorar a consistência de longo prazo em modelos de mundo de vídeo por meio de uma memória espacial de longo prazo fundamentada em geometria. Nossa estrutura inclui mecanismos para armazenar e recuperar informações da memória espacial de longo prazo, e criamos conjuntos de dados personalizados para treinar e avaliar modelos de mundo com mecanismos de memória 3D explicitamente armazenados. Nossas avaliações mostram melhorias na qualidade, consistência e extensão do contexto em comparação com linhas de base relevantes, abrindo caminho para a geração de mundos com consistência de longo prazo.

English

Emerging world models autoregressively generate video frames in response to actions, such as camera movements and text prompts, among other control signals. Due to limited temporal context window sizes, these models often struggle to maintain scene consistency during revisits, leading to severe forgetting of previously generated environments. Inspired by the mechanisms of human memory, we introduce a novel framework to enhancing long-term consistency of video world models through a geometry-grounded long-term spatial memory. Our framework includes mechanisms to store and retrieve information from the long-term spatial memory and we curate custom datasets to train and evaluate world models with explicitly stored 3D memory mechanisms. Our evaluations show improved quality, consistency, and context length compared to relevant baselines, paving the way towards long-term consistent world generation.