Voyager: Langstrecken- und weltkonsistente Videodiffusion zur Erzeugung explorierbarer 3D-Szenen

Zusammenfassung

Reale Anwendungen wie Videospiele und Virtual Reality erfordern oft die Fähigkeit, 3D-Szenen zu modellieren, die Benutzer entlang benutzerdefinierter Kamerapfade erkunden können. Während bedeutende Fortschritte bei der Generierung von 3D-Objekten aus Text oder Bildern erzielt wurden, bleibt die Erstellung von langstreckigen, 3D-konsistenten, erkundbaren 3D-Szenen ein komplexes und herausforderndes Problem. In dieser Arbeit präsentieren wir Voyager, ein neuartiges Video-Diffusions-Framework, das weltkonsistente 3D-Punktwolken-Sequenzen aus einem einzelnen Bild mit benutzerdefiniertem Kamerapfad generiert. Im Gegensatz zu bestehenden Ansätzen erreicht Voyager eine end-to-end Szenengenerierung und -rekonstruktion mit inhärenter Konsistenz über Frames hinweg, wodurch die Notwendigkeit von 3D-Rekonstruktionspipelines (z.B. Structure-from-Motion oder Multi-View Stereo) entfällt. Unsere Methode integriert drei Schlüsselkomponenten: 1) Weltkonsistente Video-Diffusion: Eine einheitliche Architektur, die gemeinsam ausgerichtete RGB- und Tiefenvideo-Sequenzen generiert, basierend auf bestehender Weltbeobachtung, um globale Kohärenz zu gewährleisten. 2) Langstreckige Welterkundung: Ein effizienter Welt-Cache mit Punktausdünnung und ein autoregressiver Inferenzprozess mit glatter Videoabtastung für iterative Szenenerweiterung mit kontextbewusster Konsistenz. 3) Skalierbare Daten-Engine: Eine Videorekonstruktionspipeline, die die Kameraposenschätzung und metrische Tiefenvorhersage für beliebige Videos automatisiert, was die groß angelegte, vielfältige Kuratierung von Trainingsdaten ohne manuelle 3D-Annotationen ermöglicht. Zusammengenommen führen diese Entwürfe zu einer deutlichen Verbesserung gegenüber bestehenden Methoden in Bezug auf visuelle Qualität und geometrische Genauigkeit, mit vielseitigen Anwendungsmöglichkeiten.

English

Real-world applications like video gaming and virtual reality often demand the ability to model 3D scenes that users can explore along custom camera trajectories. While significant progress has been made in generating 3D objects from text or images, creating long-range, 3D-consistent, explorable 3D scenes remains a complex and challenging problem. In this work, we present Voyager, a novel video diffusion framework that generates world-consistent 3D point-cloud sequences from a single image with user-defined camera path. Unlike existing approaches, Voyager achieves end-to-end scene generation and reconstruction with inherent consistency across frames, eliminating the need for 3D reconstruction pipelines (e.g., structure-from-motion or multi-view stereo). Our method integrates three key components: 1) World-Consistent Video Diffusion: A unified architecture that jointly generates aligned RGB and depth video sequences, conditioned on existing world observation to ensure global coherence 2) Long-Range World Exploration: An efficient world cache with point culling and an auto-regressive inference with smooth video sampling for iterative scene extension with context-aware consistency, and 3) Scalable Data Engine: A video reconstruction pipeline that automates camera pose estimation and metric depth prediction for arbitrary videos, enabling large-scale, diverse training data curation without manual 3D annotations. Collectively, these designs result in a clear improvement over existing methods in visual quality and geometric accuracy, with versatile applications.

Voyager: Langstrecken- und weltkonsistente Videodiffusion zur Erzeugung explorierbarer 3D-Szenen

Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

Zusammenfassung

Support