Voyager : Diffusion vidéo à longue portée et cohérente avec le monde pour la génération de scènes 3D explorables

Résumé

Les applications réelles telles que les jeux vidéo et la réalité virtuelle exigent souvent la capacité de modéliser des scènes 3D que les utilisateurs peuvent explorer selon des trajectoires de caméra personnalisées. Bien que des progrès significatifs aient été réalisés dans la génération d'objets 3D à partir de texte ou d'images, la création de scènes 3D explorables, cohérentes sur de longues distances, reste un problème complexe et difficile. Dans ce travail, nous présentons Voyager, un nouveau cadre de diffusion vidéo qui génère des séquences de nuages de points 3D cohérents à partir d'une seule image avec un chemin de caméra défini par l'utilisateur. Contrairement aux approches existantes, Voyager réalise la génération et la reconstruction de scènes de bout en bout avec une cohérence intrinsèque entre les images, éliminant ainsi le besoin de pipelines de reconstruction 3D (par exemple, la structure à partir du mouvement ou la stéréo multi-vues). Notre méthode intègre trois composants clés : 1) Diffusion Vidéo Cohérente : Une architecture unifiée qui génère conjointement des séquences vidéo RGB et de profondeur alignées, conditionnées par l'observation du monde existant pour assurer une cohérence globale. 2) Exploration à Longue Portée : Un cache mondial efficace avec élimination de points et une inférence auto-régressive avec échantillonnage vidéo fluide pour l'extension itérative de la scène avec une cohérence contextuelle. 3) Moteur de Données Évolutif : Un pipeline de reconstruction vidéo qui automatise l'estimation de la pose de la caméra et la prédiction de la profondeur métrique pour des vidéos arbitraires, permettant une curation de données d'entraînement à grande échelle et diversifiée sans annotations 3D manuelles. Collectivement, ces conceptions aboutissent à une amélioration nette par rapport aux méthodes existantes en termes de qualité visuelle et de précision géométrique, avec des applications polyvalentes.

English

Real-world applications like video gaming and virtual reality often demand the ability to model 3D scenes that users can explore along custom camera trajectories. While significant progress has been made in generating 3D objects from text or images, creating long-range, 3D-consistent, explorable 3D scenes remains a complex and challenging problem. In this work, we present Voyager, a novel video diffusion framework that generates world-consistent 3D point-cloud sequences from a single image with user-defined camera path. Unlike existing approaches, Voyager achieves end-to-end scene generation and reconstruction with inherent consistency across frames, eliminating the need for 3D reconstruction pipelines (e.g., structure-from-motion or multi-view stereo). Our method integrates three key components: 1) World-Consistent Video Diffusion: A unified architecture that jointly generates aligned RGB and depth video sequences, conditioned on existing world observation to ensure global coherence 2) Long-Range World Exploration: An efficient world cache with point culling and an auto-regressive inference with smooth video sampling for iterative scene extension with context-aware consistency, and 3) Scalable Data Engine: A video reconstruction pipeline that automates camera pose estimation and metric depth prediction for arbitrary videos, enabling large-scale, diverse training data curation without manual 3D annotations. Collectively, these designs result in a clear improvement over existing methods in visual quality and geometric accuracy, with versatile applications.

Voyager : Diffusion vidéo à longue portée et cohérente avec le monde pour la génération de scènes 3D explorables

Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

Résumé

Support