DreamCube : Génération de panoramas 3D via synchronisation multi-plans

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

June 20, 2025

Auteurs: Yukun Huang, Yanning Zhou, Jianan Wang, Kaiyi Huang, Xihui Liu

cs.AI

Résumé

La synthèse de panoramas 3D est une tâche prometteuse mais complexe, nécessitant une apparence visuelle et une géométrie de haute qualité et diversifiées pour le contenu omnidirectionnel généré. Les méthodes existantes exploitent des connaissances riches issues de modèles de base 2D pré-entraînés pour pallier la rareté des données panoramiques 3D, mais l'incompatibilité entre les panoramas 3D et les vues uniques 2D limite leur efficacité. Dans ce travail, nous démontrons qu'en appliquant une synchronisation multi-plans aux opérateurs issus de modèles de base 2D, leurs capacités peuvent être étendues de manière fluide au domaine omnidirectionnel. Sur la base de cette conception, nous introduisons DreamCube, un modèle de diffusion RGB-D multi-plans pour la génération de panoramas 3D, qui maximise la réutilisation des connaissances des modèles de base 2D pour obtenir des apparences variées et une géométrie précise tout en maintenant la cohérence multi-vues. Des expériences approfondies démontrent l'efficacité de notre approche dans la génération d'images panoramiques, l'estimation de profondeur panoramique et la génération de scènes 3D.

English

3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.