FLoD：柔軟なレベルの詳細を3Dガウススプラッティングに統合して、カスタマイズ可能なレンダリングを実現

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

著者: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

要旨

3D Gaussian Splatting（3DGS）は、多数の小さなガウス関数を使用することで高速かつ高品質なレンダリングを実現しますが、これにより膨大なメモリ消費が発生します。この多数のガウス関数への依存は、メモリ制約により低コストデバイスでの3DGSベースのモデルの適用を制限します。ただし、メモリ容量の少ないデバイスに対応するために単にガウス関数の数を減らすと、高エンドハードウェアで達成できる品質に比べて質が劣ります。このスケーラビリティの欠如に対処するために、我々は3DGSに柔軟な詳細度レベル（FLoD）を統合することを提案します。これにより、ハードウェアの能力に応じてシーンを異なる詳細度レベルでレンダリングできます。既存のLoDを備えた3DGSは詳細な再構成に焦点を当てていますが、当社の手法は、メモリ要件を削減するために少数のガウス関数を使用した再構成と、より詳細な再構成のために多数のガウス関数を使用します。実験により、レンダリング品質とメモリ使用量のトレードオフを伴うさまざまなレンダリングオプションを示し、異なるメモリ制約下でのリアルタイムレンダリングを可能にします。さらに、当社の手法が異なる3DGSフレームワークに汎用性があり、将来の最先端技術への統合の可能性を示しています。プロジェクトページ：https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/