VMem : Génération interactive et cohérente de scènes vidéo avec une mémoire de vue indexée par surfels

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

June 23, 2025

papers.authors: Runjia Li, Philip Torr, Andrea Vedaldi, Tomas Jakab

cs.AI

papers.abstract

Nous proposons un nouveau mécanisme de mémoire pour construire des générateurs vidéo capables d'explorer des environnements de manière interactive. Des résultats similaires ont été obtenus précédemment en extrapolant des vues 2D de la scène tout en reconstruisant progressivement sa géométrie 3D, ce qui accumule rapidement des erreurs, ou par des générateurs vidéo avec une fenêtre de contexte courte, qui peinent à maintenir la cohérence de la scène sur le long terme. Pour surmonter ces limitations, nous introduisons la Mémoire de Vues Indexée par Surfel (VMem), un mécanisme qui mémorise les vues passées en les indexant géométriquement en fonction des éléments de surface 3D (surfels) qu'elles ont observés. VMem permet la récupération efficace des vues passées les plus pertinentes lors de la génération de nouvelles vues. En se concentrant uniquement sur ces vues pertinentes, notre méthode produit des explorations cohérentes d'environnements imaginés à une fraction du coût computationnel requis pour utiliser toutes les vues passées comme contexte. Nous évaluons notre approche sur des benchmarks exigeants de synthèse de scènes à long terme et démontrons une performance supérieure par rapport aux méthodes existantes en termes de maintien de la cohérence de la scène et de contrôle de la caméra.

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.