가우시안 스플래팅을 활용한 텍스트-3D 변환

Text-to-3D using Gaussian Splatting

September 28, 2023

저자: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

초록

본 논문에서는 가우시안 스플래팅(Gaussian Splatting) 기반의 텍스트-3D 생성(GSGEN)이라는 새로운 접근 방식을 소개하며, 이를 통해 고품질의 3D 객체를 생성할 수 있다. 기존 방법들은 3D 사전 정보와 적절한 표현의 부재로 인해 부정확한 기하학적 구조와 제한된 충실도 문제를 겪어왔다. 우리는 최신 최첨단 표현 기법인 3D 가우시안 스플래팅을 활용하여 이러한 기존의 한계를 극복하고, 3D 사전 정보를 통합할 수 있는 명시적 특성을 활용한다. 구체적으로, 우리의 방법은 점진적 최적화 전략을 채택하며, 이는 기하학적 최적화 단계와 외관 정제 단계로 구성된다. 기하학적 최적화 단계에서는 일반적인 2D SDS 손실과 함께 3D 기하학적 사전 정보를 기반으로 한 대략적인 표현을 구축하여 합리적이고 3D 일관성을 갖춘 거친 형태를 확보한다. 이후, 획득한 가우시안들은 반복적인 정제 과정을 거쳐 세부 사항을 풍부하게 한다. 이 단계에서는 연속성을 강화하고 충실도를 개선하기 위해 밀도 기반의 조밀화를 통해 가우시안의 수를 증가시킨다. 이러한 설계를 통해 우리의 접근 방식은 섬세한 세부 사항과 더 정확한 기하학적 구조를 갖춘 3D 콘텐츠를 생성할 수 있다. 광범위한 평가를 통해 우리의 방법이 특히 고주파수 요소를 포착하는 데 효과적임을 입증하였다. 비디오 결과는 https://gsgen3d.github.io에서 확인할 수 있으며, 코드는 https://github.com/gsgen3d/gsgen에서 이용 가능하다.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen