FLoD: Integrazione del Livello di Dettaglio Flessibile nel 3D Gaussian Splatting per il Rendering Personalizzabile

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Autori: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Abstract

Il 3D Gaussian Splatting (3DGS) ottiene rendering veloci e di alta qualità utilizzando numerosi piccoli Gaussiani, il che comporta un consumo significativo di memoria. Questa dipendenza da un gran numero di Gaussiani limita l'applicazione di modelli basati su 3DGS su dispositivi a basso costo a causa dei vincoli di memoria. Tuttavia, ridurre semplicemente il numero di Gaussiani per adattarsi a dispositivi con capacità di memoria inferiore porta a una qualità inferiore rispetto a quella ottenibile su hardware di fascia alta. Per affrontare questa mancanza di scalabilità, proponiamo di integrare un Livello di Dettaglio Flessibile (FLoD) nel 3DGS, consentendo a una scena di essere renderizzata a diversi livelli di dettaglio in base alle capacità dell'hardware. Mentre gli attuali 3DGS con LoD si concentrano sulla ricostruzione dettagliata, il nostro metodo fornisce ricostruzioni utilizzando un numero ridotto di Gaussiani per ridurre i requisiti di memoria e un numero maggiore di Gaussiani per ottenere un dettaglio maggiore. Gli esperimenti dimostrano le nostre varie opzioni di rendering con compromessi tra qualità del rendering e utilizzo della memoria, consentendo così il rendering in tempo reale con diversi vincoli di memoria. Inoltre, mostriamo che il nostro metodo si generalizza a diversi framework 3DGS, indicando il suo potenziale per l'integrazione in futuri sviluppi all'avanguardia. Pagina del progetto: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/