VMem: Generazione Interattiva e Coerente di Scene Video con Memoria di Vista Indicizzata a Surfel

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

June 23, 2025

Autori: Runjia Li, Philip Torr, Andrea Vedaldi, Tomas Jakab

cs.AI

Abstract

Proponiamo un nuovo meccanismo di memoria per costruire generatori video in grado di esplorare ambienti in modo interattivo. Risultati simili sono stati precedentemente ottenuti attraverso l'out-painting di viste 2D della scena mentre si ricostruiva incrementalmente la sua geometria 3D, un approccio che accumula rapidamente errori, o mediante generatori video con una finestra di contesto breve, che faticano a mantenere la coerenza della scena nel lungo termine. Per superare queste limitazioni, introduciamo il Surfel-Indexed View Memory (VMem), un meccanismo che ricorda le viste passate indicizzandole geometricamente in base agli elementi di superficie 3D (surfel) osservati. VMem consente il recupero efficiente delle viste passate più rilevanti durante la generazione di nuove viste. Concentrandosi solo su queste viste pertinenti, il nostro metodo produce esplorazioni coerenti di ambienti immaginati a una frazione del costo computazionale richiesto dall'utilizzo di tutte le viste passate come contesto. Valutiamo il nostro approccio su benchmark impegnativi di sintesi di scene a lungo termine e dimostriamo prestazioni superiori rispetto ai metodi esistenti nel mantenere la coerenza della scena e il controllo della telecamera.

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.