DreamCube: 다중 평면 동기화를 통한 3D 파노라마 생성

초록

3D 파노라마 합성은 생성된 전방위 콘텐츠의 고품질 및 다양한 시각적 외관과 기하학적 구조를 요구하는 유망하면서도 도전적인 과제입니다. 기존 방법들은 3D 파노라마 데이터의 부족을 해결하기 위해 사전 학습된 2D 기반 모델에서 풍부한 이미지 사전 정보를 활용하지만, 3D 파노라마와 2D 단일 뷰 간의 비호환성으로 인해 그 효과가 제한됩니다. 본 연구에서는 2D 기반 모델의 연산자에 다중 평면 동기화를 적용함으로써, 이들의 기능을 전방위 도메인으로 원활하게 확장할 수 있음을 보여줍니다. 이 설계를 기반으로, 우리는 2D 기반 모델의 사전 정보를 최대한 재활용하여 다양한 외관과 정확한 기하학적 구조를 달성하면서도 다중 뷰 일관성을 유지하는 3D 파노라마 생성을 위한 다중 평면 RGB-D 확산 모델인 DreamCube를 추가로 소개합니다. 광범위한 실험을 통해 우리의 접근 방식이 파노라마 이미지 생성, 파노라마 깊이 추정, 그리고 3D 장면 생성에서의 효과성을 입증합니다.

English

3D panorama synthesis is a promising yet challenging task that demands high-quality and diverse visual appearance and geometry of the generated omnidirectional content. Existing methods leverage rich image priors from pre-trained 2D foundation models to circumvent the scarcity of 3D panoramic data, but the incompatibility between 3D panoramas and 2D single views limits their effectiveness. In this work, we demonstrate that by applying multi-plane synchronization to the operators from 2D foundation models, their capabilities can be seamlessly extended to the omnidirectional domain. Based on this design, we further introduce DreamCube, a multi-plane RGB-D diffusion model for 3D panorama generation, which maximizes the reuse of 2D foundation model priors to achieve diverse appearances and accurate geometry while maintaining multi-view consistency. Extensive experiments demonstrate the effectiveness of our approach in panoramic image generation, panoramic depth estimation, and 3D scene generation.

DreamCube: 다중 평면 동기화를 통한 3D 파노라마 생성

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

초록

Support