Voyager: Diffusione Video a Lungo Raggio e Coerente con il Mondo per la Generazione di Scene 3D Esplorabili

Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

June 4, 2025

Autori: Tianyu Huang, Wangguandong Zheng, Tengfei Wang, Yuhao Liu, Zhenwei Wang, Junta Wu, Jie Jiang, Hui Li, Rynson W. H. Lau, Wangmeng Zuo, Chunchao Guo

cs.AI

Abstract

Le applicazioni del mondo reale come i videogiochi e la realtà virtuale richiedono spesso la capacità di modellare scene 3D che gli utenti possano esplorare lungo traiettorie personalizzate della telecamera. Nonostante i significativi progressi nella generazione di oggetti 3D a partire da testo o immagini, la creazione di scene 3D esplorabili, coerenti su lunghe distanze e tridimensionalmente consistenti rimane un problema complesso e impegnativo. In questo lavoro, presentiamo Voyager, un innovativo framework di diffusione video che genera sequenze di nuvole di punti 3D coerenti con il mondo a partire da una singola immagine e con un percorso della telecamera definito dall'utente. A differenza degli approcci esistenti, Voyager raggiunge la generazione e la ricostruzione di scene end-to-end con una coerenza intrinseca tra i fotogrammi, eliminando la necessità di pipeline di ricostruzione 3D (ad esempio, structure-from-motion o stereo multi-vista). Il nostro metodo integra tre componenti chiave: 1) Diffusione Video Coerente con il Mondo: un'architettura unificata che genera congiuntamente sequenze video allineate di RGB e profondità, condizionate sull'osservazione del mondo esistente per garantire coerenza globale; 2) Esplorazione del Mondo su Lunghe Distanze: una cache del mondo efficiente con eliminazione selettiva dei punti e un'inferenza auto-regressiva con campionamento video fluido per l'estensione iterativa della scena con coerenza contestuale; e 3) Motore di Dati Scalabile: una pipeline di ricostruzione video che automatizza la stima della posa della telecamera e la previsione della profondità metrica per video arbitrari, consentendo la cura di dati di addestramento su larga scala e diversificati senza annotazioni 3D manuali. Nel complesso, questi design portano a un chiaro miglioramento rispetto ai metodi esistenti in termini di qualità visiva e accuratezza geometrica, con applicazioni versatili.

English

Real-world applications like video gaming and virtual reality often demand the ability to model 3D scenes that users can explore along custom camera trajectories. While significant progress has been made in generating 3D objects from text or images, creating long-range, 3D-consistent, explorable 3D scenes remains a complex and challenging problem. In this work, we present Voyager, a novel video diffusion framework that generates world-consistent 3D point-cloud sequences from a single image with user-defined camera path. Unlike existing approaches, Voyager achieves end-to-end scene generation and reconstruction with inherent consistency across frames, eliminating the need for 3D reconstruction pipelines (e.g., structure-from-motion or multi-view stereo). Our method integrates three key components: 1) World-Consistent Video Diffusion: A unified architecture that jointly generates aligned RGB and depth video sequences, conditioned on existing world observation to ensure global coherence 2) Long-Range World Exploration: An efficient world cache with point culling and an auto-regressive inference with smooth video sampling for iterative scene extension with context-aware consistency, and 3) Scalable Data Engine: A video reconstruction pipeline that automates camera pose estimation and metric depth prediction for arbitrary videos, enabling large-scale, diverse training data curation without manual 3D annotations. Collectively, these designs result in a clear improvement over existing methods in visual quality and geometric accuracy, with versatile applications.