Distilled-3DGS: 증류된 3D 가우시안 스플래팅

초록

3D 가우시안 스플래팅(3DGS)은 새로운 시점 합성(NVS)에서 뛰어난 효능을 보여왔습니다. 그러나 이 방법은 중요한 단점을 가지고 있습니다: 고품질 렌더링을 달성하기 위해서는 일반적으로 많은 수의 3D 가우시안이 필요하며, 이는 상당한 메모리 소비와 저장 공간 요구를 초래합니다. 이러한 문제를 해결하기 위해, 우리는 3DGS를 위한 첫 번째 지식 증류 프레임워크를 제안합니다. 이 프레임워크는 기본 3DGS, 노이즈가 추가된 변형, 그리고 드롭아웃 정규화 버전을 포함한 다양한 교사 모델을 특징으로 합니다. 이러한 교사 모델들의 출력은 경량화된 학생 모델의 최적화를 안내하기 위해 통합됩니다. 또한, 숨겨진 기하학적 구조를 증류하기 위해, 우리는 학생 모델과 교사 모델 간의 공간적 기하학적 분포 일관성을 향상시키기 위한 구조적 유사성 손실을 제안합니다. 다양한 데이터셋에 걸친 포괄적인 정량적 및 정성적 평가를 통해, 제안된 Distilled-3DGS는 복잡한 장치 없이도 간단하면서도 효과적인 프레임워크로서, 최신 방법들과 비교하여 렌더링 품질과 저장 효율성 모두에서 유망한 결과를 달성합니다. 프로젝트 페이지: https://distilled3dgs.github.io. 코드: https://github.com/lt-xiang/Distilled-3DGS.

English

3D Gaussian Splatting (3DGS) has exhibited remarkable efficacy in novel view synthesis (NVS). However, it suffers from a significant drawback: achieving high-fidelity rendering typically necessitates a large number of 3D Gaussians, resulting in substantial memory consumption and storage requirements. To address this challenge, we propose the first knowledge distillation framework for 3DGS, featuring various teacher models, including vanilla 3DGS, noise-augmented variants, and dropout-regularized versions. The outputs of these teachers are aggregated to guide the optimization of a lightweight student model. To distill the hidden geometric structure, we propose a structural similarity loss to boost the consistency of spatial geometric distributions between the student and teacher model. Through comprehensive quantitative and qualitative evaluations across diverse datasets, the proposed Distilled-3DGS, a simple yet effective framework without bells and whistles, achieves promising rendering results in both rendering quality and storage efficiency compared to state-of-the-art methods. Project page: https://distilled3dgs.github.io . Code: https://github.com/lt-xiang/Distilled-3DGS .

Distilled-3DGS: 증류된 3D 가우시안 스플래팅

Distilled-3DGS:Distilled 3D Gaussian Splatting

초록

Support