DreamCube: Generazione di Panorami 3D tramite Sincronizzazione Multi-piano

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

June 20, 2025

Autori: Yukun Huang, Yanning Zhou, Jianan Wang, Kaiyi Huang, Xihui Liu

cs.AI

Abstract

La sintesi di panorami 3D è un compito promettente ma impegnativo che richiede un aspetto visivo di alta qualità e diversificato, nonché una geometria accurata del contenuto omnidirezionale generato. I metodi esistenti sfruttano ricchi prior di immagini provenienti da modelli di base 2D pre-addestrati per ovviare alla scarsità di dati panoramici 3D, ma l'incompatibilità tra i panorami 3D e le viste singole 2D ne limita l'efficacia. In questo lavoro, dimostriamo che applicando la sincronizzazione multi-piano agli operatori dei modelli di base 2D, le loro capacità possono essere estese senza soluzione di continuità al dominio omnidirezionale. Basandoci su questo design, introduciamo ulteriormente DreamCube, un modello di diffusione RGB-D multi-piano per la generazione di panorami 3D, che massimizza il riutilizzo dei prior dei modelli di base 2D per ottenere aspetti diversificati e una geometria accurata, mantenendo al contempo la coerenza multi-vista. Esperimenti estensivi dimostrano l'efficacia del nostro approccio nella generazione di immagini panoramiche, nella stima della profondità panoramica e nella generazione di scene 3D.

English

3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.