Distilled-3DGS: 蒸留3Dガウススプラッティング

要旨

3Dガウシアンスプラッティング（3DGS）は、新規視点合成（NVS）において顕著な効果を示している。しかし、高忠実度レンダリングを達成するためには通常、多数の3Dガウシアンを必要とし、その結果、メモリ消費量とストレージ要件が大幅に増加するという重大な欠点がある。この課題に対処するため、我々は3DGSのための初めての知識蒸留フレームワークを提案する。このフレームワークは、標準的な3DGS、ノイズを付加したバリエーション、ドロップアウトを正則化したバージョンなど、さまざまな教師モデルを特徴としている。これらの教師モデルの出力を集約し、軽量な学生モデルの最適化を導く。隠れた幾何構造を蒸留するために、学生モデルと教師モデル間の空間的幾何分布の一貫性を高めるための構造的類似性損失を提案する。多様なデータセットにわたる包括的な定量的および定性的評価を通じて、提案されたDistilled-3DGSは、シンプルでありながら効果的なフレームワークであり、最先端の手法と比較して、レンダリング品質とストレージ効率の両方で有望な結果を達成する。プロジェクトページ：https://distilled3dgs.github.io。コード：https://github.com/lt-xiang/Distilled-3DGS。

English

3D Gaussian Splatting (3DGS) has exhibited remarkable efficacy in novel view synthesis (NVS). However, it suffers from a significant drawback: achieving high-fidelity rendering typically necessitates a large number of 3D Gaussians, resulting in substantial memory consumption and storage requirements. To address this challenge, we propose the first knowledge distillation framework for 3DGS, featuring various teacher models, including vanilla 3DGS, noise-augmented variants, and dropout-regularized versions. The outputs of these teachers are aggregated to guide the optimization of a lightweight student model. To distill the hidden geometric structure, we propose a structural similarity loss to boost the consistency of spatial geometric distributions between the student and teacher model. Through comprehensive quantitative and qualitative evaluations across diverse datasets, the proposed Distilled-3DGS, a simple yet effective framework without bells and whistles, achieves promising rendering results in both rendering quality and storage efficiency compared to state-of-the-art methods. Project page: https://distilled3dgs.github.io . Code: https://github.com/lt-xiang/Distilled-3DGS .

Distilled-3DGS: 蒸留3Dガウススプラッティング

Distilled-3DGS:Distilled 3D Gaussian Splatting

要旨

Support