VMem: Consistente Interactieve Videoscènegeneratie met Surfel-geïndexeerd Beeldgeheugen

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

June 23, 2025

Auteurs: Runjia Li, Philip Torr, Andrea Vedaldi, Tomas Jakab

cs.AI

Samenvatting

We stellen een nieuw geheugenmechanisme voor om videogeneratoren te bouwen die omgevingen interactief kunnen verkennen. Soortgelijke resultaten zijn eerder behaald door 2D-weergaven van de scène uit te schilderen terwijl de 3D-geometrie incrementeel werd gereconstrueerd, wat snel fouten accumuleert, of door videogeneratoren met een kort contextvenster, die moeite hebben om scènecoherentie op de lange termijn te behouden. Om deze beperkingen aan te pakken, introduceren we Surfel-Indexed View Memory (VMem), een mechanisme dat eerdere weergaven onthoudt door ze geometrisch te indexeren op basis van de 3D-oppervlakte-elementen (surfels) die ze hebben waargenomen. VMem maakt het efficiënt ophalen van de meest relevante eerdere weergaven mogelijk bij het genereren van nieuwe. Door ons alleen te richten op deze relevante weergaven, produceert onze methode consistente verkenningen van verbeeldde omgevingen tegen een fractie van de rekenkosten van het gebruik van alle eerdere weergaven als context. We evalueren onze aanpak op uitdagende benchmarks voor langetermijnscènesynthese en tonen superieure prestaties aan in vergelijking met bestaande methoden in het behouden van scènecoherentie en camerabesturing.

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.