VMem: Konsistente interaktive Videoszenerzeugung mit Surfel-indizierter Ansichtsspeicherung

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

June 23, 2025

Autoren: Runjia Li, Philip Torr, Andrea Vedaldi, Tomas Jakab

cs.AI

Zusammenfassung

Wir schlagen einen neuartigen Speichermechanismus vor, um Video-Generatoren zu entwickeln, die Umgebungen interaktiv erkunden können. Ähnliche Ergebnisse wurden bisher durch das Out-Painting von 2D-Ansichten der Szene bei gleichzeitiger inkrementeller Rekonstruktion ihrer 3D-Geometrie erzielt, was jedoch schnell zu Fehlerakkumulation führt, oder durch Video-Generatoren mit einem kurzen Kontextfenster, die Schwierigkeiten haben, die Szenenkohärenz langfristig aufrechtzuerhalten. Um diese Einschränkungen zu überwinden, führen wir das Surfel-Indexed View Memory (VMem) ein, einen Mechanismus, der vergangene Ansichten speichert, indem er sie geometrisch basierend auf den beobachteten 3D-Oberflächenelementen (Surfels) indiziert. VMem ermöglicht die effiziente Abfrage der relevantesten vergangenen Ansichten bei der Generierung neuer Ansichten. Indem sich unsere Methode nur auf diese relevanten Ansichten konzentriert, erzeugt sie konsistente Erkundungen imaginierter Umgebungen bei einem Bruchteil der Rechenkosten im Vergleich zur Verwendung aller vergangenen Ansichten als Kontext. Wir evaluieren unseren Ansatz anspruchsvoller Langzeit-Szenensynthese-Benchmarks und demonstrieren eine überlegene Leistung im Vergleich zu bestehenden Methoden in Bezug auf die Aufrechterhaltung der Szenenkohärenz und der Kamerasteuerung.

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.