MemLearner: Обучение запросу контекстной памяти для видеомировых моделей

Аннотация

Видеомировые модели — это интерактивные генеративные модели видео, которые предсказывают будущие состояния мира на основе действий пользователя и предыдущих кадров видео. Ключевая проблема видеомировых моделей — недостаток памяти, приводящий к несогласованности генерируемых сцен в течение длительных временных промежутков. Ранее применялись методы, основанные на правилах извлечения контекстных кадров в качестве памяти, однако они не справляются со сценариями, включающими затемнения сцен и динамические объекты. Мы предлагаем MemLearner — основанный на обучении метод адаптивного запроса контекста, использующий токены запроса для связи контекстных и прогнозируемых токенов. Используя саму модель генерации видео для выполнения запросов контекста, MemLearner задействует предварительно обученные визуальные априорные знания без необходимости обучать дополнительные модули с нуля, а также включает эффективные стратегии для обучения и инференса. Мы собрали набор данных длинных видеороликов с затемнениями сцен и динамическими объектами, снабжённых аннотациями положения камеры, и предложили стратегию мультидатасетного обучения, использующую как аннотированные рендеренные, так и неаннотированные реальные видео. Эксперименты показывают, что MemLearner значительно превосходит предыдущие видеомировые модели по согласованности сцен и памяти, особенно в сложных сценариях с затемнениями и динамикой.

English

Video World Models are interactive video generation models that predict future world states based on user actions and history video frames. A critical challenge in video world models is the lack of memory, causing inconsistent generated scenes over extended durations. Previous methods explored rule-based context frame retrieval as memory, but they fail to generalize in scenarios with scene occlusions and dynamic objects. We propose MemLearner, a learning-based adaptive context query method using query tokens to bridge context and predicted tokens. By leveraging the video generation model itself for context querying, MemLearner exploits pre-trained visual priors without training additional modules from scratch, and incorporates efficient strategies for training and inference. We collect a dataset of long videos with scene occlusions and dynamic objects, paired with camera pose annotations, and propose a multi-dataset training strategy leveraging both annotated rendered and unannotated real-world videos. Extensive experiments demonstrate that MemLearner significantly outperforms prior video world models in terms of scene consistency and memory, particularly under challenging occlusion and dynamic scenarios.