MemLearner: Lernen, Kontextspeicher für Video-Weltmodelle abzufragen

Zusammenfassung

Videoweltmodelle sind interaktive Videogenerierungsmodelle, die zukünftige Weltzustände basierend auf Benutzeraktionen und bisherigen Videobildern vorhersagen. Eine zentrale Herausforderung bei Videoweltmodellen ist der Mangel an Gedächtnis, der über längere Zeiträume hinweg zu inkonsistenten generierten Szenen führt. Bisherige Methoden untersuchten den regelbasierten Abruf von Kontextbildern als Gedächtnis, scheitern jedoch in Szenarien mit Szeneokklusionen und dynamischen Objekten. Wir stellen MemLearner vor, eine lernbasierte adaptive Kontextabfragemethode, die Abfragetoken verwendet, um Kontext- und vorhergesagte Token zu verknüpfen. Durch die Nutzung des Videogenerierungsmodells selbst zur Kontextabfrage nutzt MemLearner vortrainierte visuelle Prioritäten, ohne zusätzliche Module von Grund auf trainieren zu müssen, und integriert effiziente Strategien für Training und Inferenz. Wir sammeln einen Datensatz langer Videos mit Szeneokklusionen und dynamischen Objekten, gepaart mit Kamerapositionsannotationen, und schlagen eine Multi-Datensatz-Trainingsstrategie vor, die sowohl annotierte gerenderte als auch nicht annotierte reale Videos nutzt. Umfangreiche Experimente zeigen, dass MemLearner frühere Videoweltmodelle hinsichtlich Szenenkonsistenz und Gedächtnis deutlich übertrifft, insbesondere in anspruchsvollen Okklusions- und Dynamikszenarien.

English

Video World Models are interactive video generation models that predict future world states based on user actions and history video frames. A critical challenge in video world models is the lack of memory, causing inconsistent generated scenes over extended durations. Previous methods explored rule-based context frame retrieval as memory, but they fail to generalize in scenarios with scene occlusions and dynamic objects. We propose MemLearner, a learning-based adaptive context query method using query tokens to bridge context and predicted tokens. By leveraging the video generation model itself for context querying, MemLearner exploits pre-trained visual priors without training additional modules from scratch, and incorporates efficient strategies for training and inference. We collect a dataset of long videos with scene occlusions and dynamic objects, paired with camera pose annotations, and propose a multi-dataset training strategy leveraging both annotated rendered and unannotated real-world videos. Extensive experiments demonstrate that MemLearner significantly outperforms prior video world models in terms of scene consistency and memory, particularly under challenging occlusion and dynamic scenarios.