DreamCube: Generación de Panoramas 3D mediante Sincronización Multiplano

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

June 20, 2025

Autores: Yukun Huang, Yanning Zhou, Jianan Wang, Kaiyi Huang, Xihui Liu

cs.AI

Resumen

La síntesis de panoramas 3D es una tarea prometedora pero desafiante que requiere una apariencia visual y una geometría de alta calidad y diversa en el contenido omnidireccional generado. Los métodos existentes aprovechan los ricos conocimientos previos de imágenes de modelos fundacionales 2D preentrenados para sortear la escasez de datos panorámicos 3D, pero la incompatibilidad entre los panoramas 3D y las vistas únicas 2D limita su efectividad. En este trabajo, demostramos que al aplicar la sincronización de múltiples planos a los operadores de los modelos fundacionales 2D, sus capacidades pueden extenderse sin problemas al dominio omnidireccional. Basándonos en este diseño, presentamos además DreamCube, un modelo de difusión RGB-D de múltiples planos para la generación de panoramas 3D, que maximiza la reutilización de los conocimientos previos de los modelos fundacionales 2D para lograr apariencias diversas y geometría precisa, manteniendo la consistencia multivista. Experimentos exhaustivos demuestran la efectividad de nuestro enfoque en la generación de imágenes panorámicas, la estimación de profundidad panorámica y la generación de escenas 3D.

English

3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.