VMem: Geração Consistente de Cenas de Vídeo Interativas com Memória de Visão Indexada por Surfel

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

June 23, 2025

Autores: Runjia Li, Philip Torr, Andrea Vedaldi, Tomas Jakab

cs.AI

Resumo

Propomos um novo mecanismo de memória para construir geradores de vídeo que podem explorar ambientes de forma interativa. Resultados semelhantes foram alcançados anteriormente por meio da técnica de "out-painting" de visões 2D da cena enquanto reconstruíam incrementalmente sua geometria 3D, o que rapidamente acumula erros, ou por geradores de vídeo com uma janela de contexto curta, que lutam para manter a coerência da cena a longo prazo. Para superar essas limitações, introduzimos o Surfel-Indexed View Memory (VMem), um mecanismo que memoriza visões passadas indexando-as geometricamente com base nos elementos de superfície 3D (surfels) que foram observados. O VMem permite a recuperação eficiente das visões passadas mais relevantes ao gerar novas visões. Ao focar apenas nessas visões relevantes, nosso método produz explorações consistentes de ambientes imaginados a uma fração do custo computacional de usar todas as visões passadas como contexto. Avaliamos nossa abordagem em benchmarks desafiadores de síntese de cenas de longo prazo e demonstramos desempenho superior em comparação com métodos existentes na manutenção da coerência da cena e no controle da câmera.

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.