MemLearner : Apprendre à interroger la mémoire de contexte pour les modèles de monde vidéo

Résumé

Les modèles vidéo du monde sont des modèles interactifs de génération vidéo qui prédisent les états futurs du monde en fonction des actions de l'utilisateur et des images vidéo historiques. Un défi critique dans ces modèles est le manque de mémoire, qui entraîne des scènes générées incohérentes sur de longues durées. Des travaux antérieurs ont exploré la récupération de trames de contexte basée sur des règles comme forme de mémoire, mais ces approches échouent à généraliser dans des scénarios présentant des occlusions de scène et des objets dynamiques. Nous proposons MemLearner, une méthode d'interrogation de contexte adaptative fondée sur l'apprentissage, utilisant des jetons d'interrogation pour faire le lien entre les jetons de contexte et les jetons prédits. En exploitant le modèle de génération vidéo lui-même pour l'interrogation du contexte, MemLearner utilise les priors visuels pré-entraînés sans avoir à entraîner de nouveaux modules à partir de zéro, et intègre des stratégies efficaces pour l'entraînement et l'inférence. Nous constituons un ensemble de données de vidéos longues avec occlusions de scène et objets dynamiques, associées à des annotations de pose de caméra, et proposons une stratégie d'entraînement multi-ensembles de données exploitant à la fois des vidéos rendues annotées et des vidéos réelles non annotées. Des expériences approfondies montrent que MemLearner surpasse significativement les modèles vidéo du monde antérieurs en termes de cohérence de scène et de mémoire, en particulier dans les scénarios difficiles d'occlusion et de dynamique.

English

Video World Models are interactive video generation models that predict future world states based on user actions and history video frames. A critical challenge in video world models is the lack of memory, causing inconsistent generated scenes over extended durations. Previous methods explored rule-based context frame retrieval as memory, but they fail to generalize in scenarios with scene occlusions and dynamic objects. We propose MemLearner, a learning-based adaptive context query method using query tokens to bridge context and predicted tokens. By leveraging the video generation model itself for context querying, MemLearner exploits pre-trained visual priors without training additional modules from scratch, and incorporates efficient strategies for training and inference. We collect a dataset of long videos with scene occlusions and dynamic objects, paired with camera pose annotations, and propose a multi-dataset training strategy leveraging both annotated rendered and unannotated real-world videos. Extensive experiments demonstrate that MemLearner significantly outperforms prior video world models in terms of scene consistency and memory, particularly under challenging occlusion and dynamic scenarios.