FLoD: 3D 가우시안 스플래팅에 유연한 세부 수준 통합을 위한 사용자 정의 렌더링

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

저자: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

초록

3D 가우시안 스플래팅 (3DGS)은 많은 작은 가우시안을 사용하여 빠르고 고품질의 렌더링을 달성하는데, 이는 상당한 메모리 소비를 유발합니다. 이러한 많은 가우시안에 의존하는 것은 메모리 제한으로 인해 저렴한 장치에서 3DGS 기반 모델의 적용을 제한합니다. 그러나 메모리 용량이 적은 장치에 맞추기 위해 가우시안의 수를 간단히 줄이면 고급 하드웨어에서 달성할 수 있는 품질보다 떨어지는 품질을 얻게 됩니다. 이러한 확장성 부족을 해결하기 위해, 우리는 3DGS에 유연한 세부 수준 (FLoD)을 통합하여 하드웨어 성능에 따라 다양한 세부 수준에서 장면을 렌더링할 수 있도록 제안합니다. 기존의 LoD가 포커스를 맞춘 3DGS는 상세한 재구성에 중점을 두는 반면, 우리의 방법은 줄어든 메모리 요구 사항을 위해 적은 수의 가우시안을 사용하여 재구성하고, 더 많은 수의 가우시안을 사용하여 더 많은 세부 정보를 제공합니다. 실험 결과, 렌더링 품질과 메모리 사용량 사이의 교환을 통해 다양한 렌더링 옵션을 제시하여 다양한 메모리 제약 하에서 실시간 렌더링이 가능하게 합니다. 더 나아가, 우리의 방법이 다양한 3DGS 프레임워크에 적용됨을 보여주며, 미래의 최신 기술 발전에 통합될 잠재력을 시사합니다. 프로젝트 페이지: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/