Voyager: Модель диффузии видео для генерации исследовательских 3D-сцен с поддержкой дальнего действия и согласованности мира

Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

June 4, 2025

Авторы: Tianyu Huang, Wangguandong Zheng, Tengfei Wang, Yuhao Liu, Zhenwei Wang, Junta Wu, Jie Jiang, Hui Li, Rynson W. H. Lau, Wangmeng Zuo, Chunchao Guo

cs.AI

Аннотация

Реальные приложения, такие как видеоигры и виртуальная реальность, часто требуют возможности моделирования 3D-сцен, которые пользователи могут исследовать по заданным траекториям камеры. Хотя значительный прогресс был достигнут в генерации 3D-объектов из текста или изображений, создание длинных, 3D-согласованных и исследуемых 3D-сцен остается сложной и актуальной задачей. В данной работе мы представляем Voyager — новый фреймворк на основе диффузии видео, который генерирует последовательности 3D-точечных облаков, согласованных в мировом пространстве, из одного изображения с заданной пользователем траекторией камеры. В отличие от существующих подходов, Voyager обеспечивает сквозную генерацию и реконструкцию сцены с внутренней согласованностью между кадрами, устраняя необходимость в использовании 3D-реконструкционных пайплайнов (например, структура из движения или многовидовая стереоскопия). Наш метод объединяет три ключевых компонента: 1) Мирово-согласованная диффузия видео: унифицированная архитектура, которая совместно генерирует выровненные последовательности RGB и глубины, учитывая существующие наблюдения мира для обеспечения глобальной согласованности; 2) Долгосрочное исследование мира: эффективный кэш мира с отсечением точек и авторегрессивный вывод с плавной выборкой видео для итеративного расширения сцены с учетом контекстной согласованности; 3) Масштабируемый механизм данных: пайплайн реконструкции видео, который автоматизирует оценку поз камеры и предсказание метрической глубины для произвольных видео, позволяя создавать крупномасштабные и разнообразные наборы обучающих данных без ручной 3D-аннотации. В совокупности эти решения обеспечивают заметное улучшение визуального качества и геометрической точности по сравнению с существующими методами, открывая широкие возможности для применения.

English

Real-world applications like video gaming and virtual reality often demand the ability to model 3D scenes that users can explore along custom camera trajectories. While significant progress has been made in generating 3D objects from text or images, creating long-range, 3D-consistent, explorable 3D scenes remains a complex and challenging problem. In this work, we present Voyager, a novel video diffusion framework that generates world-consistent 3D point-cloud sequences from a single image with user-defined camera path. Unlike existing approaches, Voyager achieves end-to-end scene generation and reconstruction with inherent consistency across frames, eliminating the need for 3D reconstruction pipelines (e.g., structure-from-motion or multi-view stereo). Our method integrates three key components: 1) World-Consistent Video Diffusion: A unified architecture that jointly generates aligned RGB and depth video sequences, conditioned on existing world observation to ensure global coherence 2) Long-Range World Exploration: An efficient world cache with point culling and an auto-regressive inference with smooth video sampling for iterative scene extension with context-aware consistency, and 3) Scalable Data Engine: A video reconstruction pipeline that automates camera pose estimation and metric depth prediction for arbitrary videos, enabling large-scale, diverse training data curation without manual 3D annotations. Collectively, these designs result in a clear improvement over existing methods in visual quality and geometric accuracy, with versatile applications.