VMem: Согласованная интерактивная генерация видеосцен с использованием памяти представлений на основе сфероидов

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

June 23, 2025

Авторы: Runjia Li, Philip Torr, Andrea Vedaldi, Tomas Jakab

cs.AI

Аннотация

Мы предлагаем новый механизм памяти для создания генераторов видео, способных интерактивно исследовать окружения. Подобные результаты ранее достигались путем дорисовки 2D-видов сцены с постепенным восстановлением её 3D-геометрии, что быстро приводит к накоплению ошибок, или с использованием генераторов видео с коротким контекстным окном, которые испытывают трудности с поддержанием согласованности сцены на длительных временных интервалах. Для устранения этих ограничений мы представляем механизм Surfel-Indexed View Memory (VMem), который запоминает прошлые виды, индексируя их геометрически на основе наблюдаемых 3D-поверхностных элементов (surfels). VMem позволяет эффективно извлекать наиболее релевантные прошлые виды при генерации новых. Фокусируясь только на этих релевантных видах, наш метод обеспечивает согласованное исследование воображаемых окружений при значительно меньших вычислительных затратах по сравнению с использованием всех прошлых видов в качестве контекста. Мы оцениваем наш подход на сложных бенчмарках синтеза сцен на длительных временных интервалах и демонстрируем превосходную производительность по сравнению с существующими методами в поддержании согласованности сцены и управлении камерой.

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.