GaussianCube: 3D 생성 모델링을 위한 최적 수송을 활용한 가우시안 스플래팅 구조화

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

저자: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

초록

3D 가우시안 스플래팅(GS)은 3D 피팅 정확도와 렌더링 속도 측면에서 신경 방사 필드(Neural Radiance Fields)에 비해 상당한 개선을 이루었습니다. 그러나 흩어진 가우시안으로 구성된 이 비정형 표현은 생성 모델링에 있어 상당한 어려움을 야기합니다. 이 문제를 해결하기 위해, 우리는 생성 모델링에 강력하면서도 효율적인 구조화된 GS 표현인 GaussianCube를 소개합니다. 이를 위해 먼저 고정된 수의 자유 가우시안을 사용하여 고품질 피팅 결과를 얻을 수 있는 수정된 밀도화 제약 GS 피팅 알고리즘을 제안하고, 최적 수송(Optimal Transport)을 통해 가우시안을 미리 정의된 복셀 그리드로 재배치합니다. 이 구조화된 그리드 표현은 복잡한 설계 없이도 확산 생성 모델링에서 표준 3D U-Net을 백본으로 사용할 수 있게 합니다. ShapeNet과 OmniObject3D에서 수행한 광범위한 실험 결과, 우리 모델이 정성적 및 정량적으로 최첨단 생성 결과를 달성함을 보여주며, GaussianCube가 강력하고 다재다능한 3D 표현으로서의 잠재력을 강조합니다.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.