DreamPolisher: 기하학적 확산을 통한 고품질 텍스트-3D 생성 기술

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

저자: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

초록

우리는 기하학적 지도를 기반으로 한 새로운 가우시안 스플래팅(Gaussian Splatting) 기법인 DreamPolisher를 소개합니다. 이 방법은 텍스트 설명으로부터 교차 뷰 일관성과 복잡한 디테일을 학습하도록 특화되었습니다. 최근 텍스트-3D 생성 방법의 발전은 유망하지만, 기존 방법들은 뷰 일관성과 텍스처 풍부함을 보장하지 못하는 경우가 많습니다. 이 문제는 특히 텍스트 입력만을 사용하는 방법에서 두드러집니다. 이를 해결하기 위해, 우리는 뷰 간 기하학적 일관성을 강화하는 두 단계의 가우시안 스플래팅 기반 접근 방식을 제안합니다. 먼저, 초기 생성된 3D 모델을 기하학적 최적화를 통해 개선합니다. 이후, 기하학적 일관성 항목과 결합된 ControlNet 기반 정제기를 사용하여 생성된 3D 자산의 텍스처 충실도와 전반적인 일관성을 향상시킵니다. 다양한 객체 카테고리에 걸친 텍스트 프롬프트를 대상으로 한 실험적 평가는 DreamPolisher가 텍스트 지시의 의미와 밀접하게 일치하며 일관적이고 사실적인 3D 객체를 생성하는 데 효과적임을 입증합니다.

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.