DreamGaussian: 효율적인 3D 콘텐츠 생성을 위한 생성적 가우시안 스플래팅

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

저자: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

초록

최근 3D 콘텐츠 생성 분야의 발전은 주로 점수 증류 샘플링(SDS)을 통한 최적화 기반 3D 생성에 의존해 왔습니다. 이러한 방법들이 유망한 결과를 보여주고 있지만, 샘플당 최적화 속도가 느려 실제 사용에 제약이 따르는 경우가 많습니다. 본 논문에서는 효율성과 품질을 동시에 달성하는 새로운 3D 콘텐츠 생성 프레임워크인 DreamGaussian을 제안합니다. 우리의 핵심 통찰은 생성적 3D 가우시안 스플래팅 모델을 설계하고, 이를 UV 공간에서 메시 추출 및 텍스처 정제와 결합하는 것입니다. 신경 방사 필드(NeRF)에서 사용되는 점유율 가지치기와 달리, 3D 가우시안의 점진적 밀도화가 3D 생성 작업에서 훨씬 빠르게 수렴함을 입증했습니다. 텍스처 품질을 더욱 향상시키고 다운스트림 애플리케이션을 용이하게 하기 위해, 우리는 3D 가우시안을 텍스처 메시로 변환하는 효율적인 알고리즘을 도입하고 세부 사항을 정제하는 미세 조정 단계를 적용했습니다. 광범위한 실험을 통해 제안된 접근 방식의 뛰어난 효율성과 경쟁력 있는 생성 품질을 입증했습니다. 특히, DreamGaussian은 단일 뷰 이미지에서 고품질의 텍스처 메시를 단 2분 만에 생성하며, 기존 방법 대비 약 10배의 가속을 달성했습니다.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.