MVDD: 다중 뷰 깊이 확산 모델

초록

디노이징 확산 모델은 2D 이미지 생성에서 뛰어난 성과를 보여왔지만, 이를 3D 형태 생성에 적용하는 것은 여전히 도전적인 과제로 남아 있습니다. 본 논문에서는 복잡한 3D 형태를 디노이징하기 쉬운 2D 데이터 형식으로 표현하는 멀티뷰 깊이 정보를 활용하는 방법을 제안합니다. 우리는 이 표현 방식을 확산 모델인 MVDD와 결합하여, 20,000개 이상의 점으로 구성된 고품질의 고밀도 포인트 클라우드를 세밀한 디테일과 함께 생성할 수 있도록 합니다. 멀티뷰 깊이에서 3D 일관성을 강화하기 위해, 우리는 에피폴라 선분 주의 메커니즘을 도입하여 한 뷰의 디노이징 단계를 인접한 뷰들과 연계합니다. 또한, 깊이 융합 모듈을 확산 단계에 통합하여 깊이 맵의 정렬을 더욱 보장합니다. 표면 재구성 기법과 결합할 경우, MVDD는 고품질의 3D 메시도 생성할 수 있습니다. 더 나아가, MVDD는 깊이 완성과 같은 다른 작업에서도 두각을 나타내며, GAN 역변환과 같은 다양한 하위 작업을 크게 향상시킬 수 있는 3D 사전 지식으로서의 역할도 수행합니다. 광범위한 실험을 통해 얻은 최첨단 결과는 MVDD의 3D 형태 생성, 깊이 완성 능력, 그리고 하위 작업을 위한 3D 사전 지식으로서의 잠재력을 입증합니다.

English

Denoising diffusion models have demonstrated outstanding results in 2D image generation, yet it remains a challenge to replicate its success in 3D shape generation. In this paper, we propose leveraging multi-view depth, which represents complex 3D shapes in a 2D data format that is easy to denoise. We pair this representation with a diffusion model, MVDD, that is capable of generating high-quality dense point clouds with 20K+ points with fine-grained details. To enforce 3D consistency in multi-view depth, we introduce an epipolar line segment attention that conditions the denoising step for a view on its neighboring views. Additionally, a depth fusion module is incorporated into diffusion steps to further ensure the alignment of depth maps. When augmented with surface reconstruction, MVDD can also produce high-quality 3D meshes. Furthermore, MVDD stands out in other tasks such as depth completion, and can serve as a 3D prior, significantly boosting many downstream tasks, such as GAN inversion. State-of-the-art results from extensive experiments demonstrate MVDD's excellent ability in 3D shape generation, depth completion, and its potential as a 3D prior for downstream tasks.

MVDD: 다중 뷰 깊이 확산 모델

MVDD: Multi-View Depth Diffusion Models

초록

Support