Видеомодели мира с долговременной пространственной памятью
Video World Models with Long-term Spatial Memory
June 5, 2025
Авторы: Tong Wu, Shuai Yang, Ryan Po, Yinghao Xu, Ziwei Liu, Dahua Lin, Gordon Wetzstein
cs.AI
Аннотация
Модели мира, основанные на авторегрессии, генерируют видеокадры в ответ на действия, такие как перемещения камеры и текстовые запросы, а также другие управляющие сигналы. Из-за ограниченного размера временного контекстного окна эти модели часто испытывают трудности с поддержанием согласованности сцены при повторных посещениях, что приводит к значительному забыванию ранее сгенерированных окружений. Вдохновленные механизмами человеческой памяти, мы предлагаем новый подход для повышения долгосрочной согласованности видеомоделей мира с использованием геометрически обоснованной долгосрочной пространственной памяти. Наш подход включает механизмы для хранения и извлечения информации из долгосрочной пространственной памяти, а также мы создаем специализированные наборы данных для обучения и оценки моделей мира с явно хранимыми механизмами 3D-памяти. Результаты нашей оценки демонстрируют улучшение качества, согласованности и длины контекста по сравнению с релевантными базовыми моделями, прокладывая путь к генерации мира с долгосрочной согласованностью.
English
Emerging world models autoregressively generate video frames in response to
actions, such as camera movements and text prompts, among other control
signals. Due to limited temporal context window sizes, these models often
struggle to maintain scene consistency during revisits, leading to severe
forgetting of previously generated environments. Inspired by the mechanisms of
human memory, we introduce a novel framework to enhancing long-term consistency
of video world models through a geometry-grounded long-term spatial memory. Our
framework includes mechanisms to store and retrieve information from the
long-term spatial memory and we curate custom datasets to train and evaluate
world models with explicitly stored 3D memory mechanisms. Our evaluations show
improved quality, consistency, and context length compared to relevant
baselines, paving the way towards long-term consistent world generation.