UniDream: 재조명 가능한 텍스트-3D 생성을 위한 통합 디퓨전 사전 지식

UniDream: Unifying Diffusion Priors for Relightable Text-to-3D Generation

December 14, 2023

저자: Zexiang Liu, Yangguang Li, Youtian Lin, Xin Yu, Sida Peng, Yan-Pei Cao, Xiaojuan Qi, Xiaoshui Huang, Ding Liang, Wanli Ouyang

cs.AI

초록

최근 텍스트-3D 생성 기술의 발전으로 텍스트 설명을 상상력이 풍부하고 기하학적으로 잘 구성된 섬세한 텍스처의 3D 객체로 변환하는 능력이 크게 향상되었습니다. 그러나 이러한 발전에도 불구하고, 확산 또는 재구성 모델에서 RGB 데이터를 사용함으로써 발생하는 일반적인 한계가 있습니다. 이는 모델에 내재된 조명과 그림자 효과로 인해 현실감이 떨어지고, 정확한 재조명 기능이 요구되는 응용 프로그램에서의 활용성이 제한되는 결과를 초래합니다. 이러한 격차를 해소하기 위해, 우리는 통합 확산 사전 지식을 통합한 텍스트-3D 생성 프레임워크인 UniDream을 제안합니다. 우리의 접근 방식은 세 가지 주요 구성 요소로 이루어져 있습니다: (1) 알베도-노멀 정렬된 다중 뷰 확산 및 재구성 모델을 얻기 위한 이중 단계 학습 과정, (2) 학습된 재구성 및 확산 모델을 사용하여 기하학 및 알베도 텍스처를 점진적으로 생성하는 Score Distillation Sample (SDS) 기반의 생성 절차, 그리고 (3) Stable Diffusion 모델을 기반으로 고정된 알베도를 유지하면서 PBR 생성을 완료하기 위한 SDS의 혁신적인 적용. 광범위한 평가를 통해 UniDream이 기존 방법을 능가하는 더 명확한 알베도 텍스처, 더 매끄러운 표면, 향상된 현실감, 그리고 우수한 재조명 기능을 가진 3D 객체를 생성함을 입증했습니다.

English

Recent advancements in text-to-3D generation technology have significantly advanced the conversion of textual descriptions into imaginative well-geometrical and finely textured 3D objects. Despite these developments, a prevalent limitation arises from the use of RGB data in diffusion or reconstruction models, which often results in models with inherent lighting and shadows effects that detract from their realism, thereby limiting their usability in applications that demand accurate relighting capabilities. To bridge this gap, we present UniDream, a text-to-3D generation framework by incorporating unified diffusion priors. Our approach consists of three main components: (1) a dual-phase training process to get albedo-normal aligned multi-view diffusion and reconstruction models, (2) a progressive generation procedure for geometry and albedo-textures based on Score Distillation Sample (SDS) using the trained reconstruction and diffusion models, and (3) an innovative application of SDS for finalizing PBR generation while keeping a fixed albedo based on Stable Diffusion model. Extensive evaluations demonstrate that UniDream surpasses existing methods in generating 3D objects with clearer albedo textures, smoother surfaces, enhanced realism, and superior relighting capabilities.