DreamCube: 3D-Panorama-Generierung durch Multi-Ebenen-Synchronisation

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

June 20, 2025

Autoren: Yukun Huang, Yanning Zhou, Jianan Wang, Kaiyi Huang, Xihui Liu

cs.AI

Zusammenfassung

Die Synthese von 3D-Panoramen ist eine vielversprechende, aber anspruchsvolle Aufgabe, die eine hochwertige und vielfältige visuelle Erscheinung sowie Geometrie des erzeugten omnidirektionalen Inhalts erfordert. Bestehende Methoden nutzen umfangreiche Bildprioritäten aus vortrainierten 2D-Foundation-Modellen, um die Knappheit von 3D-Panoramadaten zu umgehen, doch die Inkompatibilität zwischen 3D-Panoramen und 2D-Einzelansichten schränkt deren Effektivität ein. In dieser Arbeit zeigen wir, dass durch die Anwendung von Multi-Ebenen-Synchronisation auf die Operatoren aus 2D-Foundation-Modellen deren Fähigkeiten nahtlos auf den omnidirektionalen Bereich erweitert werden können. Basierend auf diesem Design führen wir DreamCube ein, ein Multi-Ebenen-RGB-D-Diffusionsmodell zur Erzeugung von 3D-Panoramen, das die Wiederverwendung von 2D-Foundation-Modell-Prioritäten maximiert, um vielfältige Erscheinungen und präzise Geometrie bei gleichzeitiger Wahrung der Multi-Ansicht-Konsistenz zu erreichen. Umfangreiche Experimente demonstrieren die Effektivität unseres Ansatzes in der Panoramabildgenerierung, der Panorama-Tiefenschätzung und der 3D-Szenengenerierung.

English

3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.