LucidDreamer: 간격 점수 매칭을 통한 고품질 텍스트-3D 생성 기술

초록

최근 텍스트-3D 생성 분야의 발전은 생성 모델에서 중요한 이정표를 세우며, 다양한 실제 시나리오에서 창의적인 3D 자산을 생성할 수 있는 새로운 가능성을 열어주고 있습니다. 텍스트-3D 생성 분야의 최근 발전은 유망한 결과를 보여주고 있지만, 여전히 세부적이고 고품질의 3D 모델을 렌더링하는 데 있어 한계를 보이고 있습니다. 이 문제는 특히 많은 방법들이 Score Distillation Sampling(SDS)에 기반을 두고 있기 때문에 더욱 두드러집니다. 본 논문은 SDS의 중요한 결함을 지적합니다. 즉, SDS가 3D 모델에 대해 일관성 없고 저품질의 업데이트 방향을 제공하여 과도한 평활화(over-smoothing) 효과를 초래한다는 점입니다. 이를 해결하기 위해, 우리는 Interval Score Matching(ISM)이라는 새로운 접근 방식을 제안합니다. ISM은 결정론적 확산 궤적을 사용하고, 구간 기반 점수 매칭을 활용하여 과도한 평활화를 방지합니다. 또한, 우리는 텍스트-3D 생성 파이프라인에 3D Gaussian Splatting을 통합했습니다. 광범위한 실험을 통해 우리의 모델이 품질과 학습 효율성 측면에서 최신 기술을 크게 능가함을 보여줍니다.

English

The recent advancements in text-to-3D generation mark a significant milestone in generative models, unlocking new possibilities for creating imaginative 3D assets across various real-world scenarios. While recent advancements in text-to-3D generation have shown promise, they often fall short in rendering detailed and high-quality 3D models. This problem is especially prevalent as many methods base themselves on Score Distillation Sampling (SDS). This paper identifies a notable deficiency in SDS, that it brings inconsistent and low-quality updating direction for the 3D model, causing the over-smoothing effect. To address this, we propose a novel approach called Interval Score Matching (ISM). ISM employs deterministic diffusing trajectories and utilizes interval-based score matching to counteract over-smoothing. Furthermore, we incorporate 3D Gaussian Splatting into our text-to-3D generation pipeline. Extensive experiments show that our model largely outperforms the state-of-the-art in quality and training efficiency.

LucidDreamer: 간격 점수 매칭을 통한 고품질 텍스트-3D 생성 기술

LucidDreamer: Towards High-Fidelity Text-to-3D Generation via Interval Score Matching

초록

Support