VMem: サーフェルインデックス付きビューメモリによる一貫性のあるインタラクティブビデオシーン生成

要旨

我々は、環境をインタラクティブに探索可能なビデオ生成器を構築するための新しいメモリ機構を提案する。これまで同様の成果は、シーンの3Dジオメトリを段階的に再構築しながら2Dビューをアウトペインティングする手法や、短いコンテキストウィンドウを持つビデオ生成器によって達成されてきた。しかし、前者は誤差が急速に蓄積する問題があり、後者は長期的なシーン一貫性の維持に苦戦する。これらの制約を解決するため、我々はSurfel-Indexed View Memory（VMem）を導入する。この機構は、過去のビューを3D表面要素（サーフェル）に基づいて幾何学的にインデックス化し、記憶する。VMemは、新しいビューを生成する際に最も関連性の高い過去のビューを効率的に検索することを可能にする。関連するビューのみに焦点を当てることで、我々の手法は、すべての過去のビューをコンテキストとして使用する場合と比べて、計算コストを大幅に削減しながら、想像された環境の一貫した探索を実現する。我々は、挑戦的な長期的シーン合成ベンチマークにおいて本手法を評価し、シーン一貫性とカメラ制御の面で既存手法を上回る性能を示す。

English

We propose a novel memory mechanism to build video generators that can explore environments interactively. Similar results have previously been achieved by out-painting 2D views of the scene while incrementally reconstructing its 3D geometry, which quickly accumulates errors, or by video generators with a short context window, which struggle to maintain scene coherence over the long term. To address these limitations, we introduce Surfel-Indexed View Memory (VMem), a mechanism that remembers past views by indexing them geometrically based on the 3D surface elements (surfels) they have observed. VMem enables the efficient retrieval of the most relevant past views when generating new ones. By focusing only on these relevant views, our method produces consistent explorations of imagined environments at a fraction of the computational cost of using all past views as context. We evaluate our approach on challenging long-term scene synthesis benchmarks and demonstrate superior performance compared to existing methods in maintaining scene coherence and camera control.

VMem: サーフェルインデックス付きビューメモリによる一貫性のあるインタラクティブビデオシーン生成

VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory

要旨

Support