Modèles de Monde Vidéo avec Mémoire Spatiale à Long Terme
Video World Models with Long-term Spatial Memory
June 5, 2025
papers.authors: Tong Wu, Shuai Yang, Ryan Po, Yinghao Xu, Ziwei Liu, Dahua Lin, Gordon Wetzstein
cs.AI
papers.abstract
Les modèles de monde émergents génèrent de manière autoregressive des images vidéo en réponse à des actions, telles que des mouvements de caméra et des invites textuelles, parmi d'autres signaux de contrôle. En raison de la taille limitée des fenêtres de contexte temporel, ces modèles ont souvent du mal à maintenir la cohérence des scènes lors de revisites, ce qui entraîne un oubli important des environnements précédemment générés. Inspirés par les mécanismes de la mémoire humaine, nous introduisons un nouveau cadre pour améliorer la cohérence à long terme des modèles de monde vidéo grâce à une mémoire spatiale à long terme ancrée dans la géométrie. Notre cadre comprend des mécanismes pour stocker et récupérer des informations à partir de la mémoire spatiale à long terme, et nous avons constitué des ensembles de données personnalisés pour entraîner et évaluer des modèles de monde avec des mécanismes de mémoire 3D explicitement stockés. Nos évaluations montrent une amélioration de la qualité, de la cohérence et de la longueur du contexte par rapport aux références pertinentes, ouvrant la voie à une génération de monde cohérente à long terme.
English
Emerging world models autoregressively generate video frames in response to
actions, such as camera movements and text prompts, among other control
signals. Due to limited temporal context window sizes, these models often
struggle to maintain scene consistency during revisits, leading to severe
forgetting of previously generated environments. Inspired by the mechanisms of
human memory, we introduce a novel framework to enhancing long-term consistency
of video world models through a geometry-grounded long-term spatial memory. Our
framework includes mechanisms to store and retrieve information from the
long-term spatial memory and we curate custom datasets to train and evaluate
world models with explicitly stored 3D memory mechanisms. Our evaluations show
improved quality, consistency, and context length compared to relevant
baselines, paving the way towards long-term consistent world generation.