Modelli Video World con Memoria Spaziale a Lungo Termine

Video World Models with Long-term Spatial Memory

June 5, 2025

Autori: Tong Wu, Shuai Yang, Ryan Po, Yinghao Xu, Ziwei Liu, Dahua Lin, Gordon Wetzstein

cs.AI

Abstract

I modelli di mondo emergenti generano autoregressivamente fotogrammi video in risposta ad azioni, come movimenti della telecamera e prompt testuali, tra altri segnali di controllo. A causa delle dimensioni limitate delle finestre temporali di contesto, questi modelli spesso faticano a mantenere la coerenza della scena durante le rivisitazioni, portando a una grave dimenticanza degli ambienti precedentemente generati. Ispirati dai meccanismi della memoria umana, introduciamo un nuovo framework per migliorare la coerenza a lungo termine dei modelli di mondo video attraverso una memoria spaziale a lungo termine basata sulla geometria. Il nostro framework include meccanismi per memorizzare e recuperare informazioni dalla memoria spaziale a lungo termine e curiamo dataset personalizzati per addestrare e valutare modelli di mondo con meccanismi di memoria 3D esplicitamente memorizzati. Le nostre valutazioni mostrano un miglioramento della qualità, della coerenza e della lunghezza del contesto rispetto ai baseline rilevanti, aprendo la strada verso una generazione di mondi coerenti a lungo termine.

English

Emerging world models autoregressively generate video frames in response to actions, such as camera movements and text prompts, among other control signals. Due to limited temporal context window sizes, these models often struggle to maintain scene consistency during revisits, leading to severe forgetting of previously generated environments. Inspired by the mechanisms of human memory, we introduce a novel framework to enhancing long-term consistency of video world models through a geometry-grounded long-term spatial memory. Our framework includes mechanisms to store and retrieve information from the long-term spatial memory and we curate custom datasets to train and evaluate world models with explicitly stored 3D memory mechanisms. Our evaluations show improved quality, consistency, and context length compared to relevant baselines, paving the way towards long-term consistent world generation.