Video-Weltmodelle mit räumlichem Langzeitgedächtnis
Video World Models with Long-term Spatial Memory
June 5, 2025
Autoren: Tong Wu, Shuai Yang, Ryan Po, Yinghao Xu, Ziwei Liu, Dahua Lin, Gordon Wetzstein
cs.AI
Zusammenfassung
Aufkommende Weltmodelle generieren autoregressiv Videobilder als Reaktion auf Aktionen wie Kamerabewegungen und Textanweisungen sowie andere Steuersignale. Aufgrund begrenzter zeitlicher Kontextfenstergrößen haben diese Modelle oft Schwierigkeiten, die Szenenkonsistenz bei erneuten Besuchen aufrechtzuerhalten, was zu einem starken Vergessen zuvor generierter Umgebungen führt. Inspiriert von den Mechanismen des menschlichen Gedächtnisses führen wir ein neuartiges Framework ein, das die langfristige Konsistenz von Video-Weltmodellen durch einen geometriebasierten langfristigen räumlichen Speicher verbessert. Unser Framework umfasst Mechanismen zur Speicherung und Abfrage von Informationen aus dem langfristigen räumlichen Speicher, und wir erstellen spezielle Datensätze, um Weltmodelle mit explizit gespeicherten 3D-Speichermechanismen zu trainieren und zu bewerten. Unsere Auswertungen zeigen eine verbesserte Qualität, Konsistenz und Kontextlänge im Vergleich zu relevanten Baselines und ebnen den Weg für eine langfristig konsistente Welterzeugung.
English
Emerging world models autoregressively generate video frames in response to
actions, such as camera movements and text prompts, among other control
signals. Due to limited temporal context window sizes, these models often
struggle to maintain scene consistency during revisits, leading to severe
forgetting of previously generated environments. Inspired by the mechanisms of
human memory, we introduce a novel framework to enhancing long-term consistency
of video world models through a geometry-grounded long-term spatial memory. Our
framework includes mechanisms to store and retrieve information from the
long-term spatial memory and we curate custom datasets to train and evaluate
world models with explicitly stored 3D memory mechanisms. Our evaluations show
improved quality, consistency, and context length compared to relevant
baselines, paving the way towards long-term consistent world generation.