MemLearner: Aprendiendo a consultar la memoria de contexto para modelos de mundo en video

Resumen

Los modelos de mundo de video son modelos interactivos de generación de video que predicen estados futuros del mundo a partir de acciones del usuario y fotogramas de video históricos. Un desafío crítico en los modelos de mundo de video es la falta de memoria, lo que genera escenas inconsistentes en periodos prolongados. Métodos previos exploraron la recuperación de fotogramas de contexto basada en reglas como memoria, pero no logran generalizar en escenarios con oclusiones de escena y objetos dinámicos. Proponemos MemLearner, un método de consulta de contexto adaptativo basado en aprendizaje que utiliza tokens de consulta para conectar tokens de contexto y predichos. Al aprovechar el propio modelo de generación de video para la consulta de contexto, MemLearner explota los priores visuales preentrenados sin necesidad de entrenar módulos adicionales desde cero, e incorpora estrategias eficientes para entrenamiento e inferencia. Recopilamos un conjunto de datos de videos largos con oclusiones de escena y objetos dinámicos, emparejados con anotaciones de pose de cámara, y proponemos una estrategia de entrenamiento con múltiples conjuntos de datos que aprovecha tanto videos anotados renderizados como videos reales no anotados. Experimentos exhaustivos demuestran que MemLearner supera significativamente a los modelos de mundo de video anteriores en términos de consistencia de escena y memoria, particularmente en escenarios desafiantes con oclusiones y dinámicas.

English

Video World Models are interactive video generation models that predict future world states based on user actions and history video frames. A critical challenge in video world models is the lack of memory, causing inconsistent generated scenes over extended durations. Previous methods explored rule-based context frame retrieval as memory, but they fail to generalize in scenarios with scene occlusions and dynamic objects. We propose MemLearner, a learning-based adaptive context query method using query tokens to bridge context and predicted tokens. By leveraging the video generation model itself for context querying, MemLearner exploits pre-trained visual priors without training additional modules from scratch, and incorporates efficient strategies for training and inference. We collect a dataset of long videos with scene occlusions and dynamic objects, paired with camera pose annotations, and propose a multi-dataset training strategy leveraging both annotated rendered and unannotated real-world videos. Extensive experiments demonstrate that MemLearner significantly outperforms prior video world models in terms of scene consistency and memory, particularly under challenging occlusion and dynamic scenarios.