FLoD: Integratie van Flexibel Detailniveau in 3D Gaussische Splatting voor Aanpasbaar Rendering

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Auteurs: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Samenvatting

3D Gaussian Splatting (3DGS) bereikt snelle en hoogwaardige rendering door het gebruik van talrijke kleine Gaussians, wat leidt tot aanzienlijk geheugengebruik. Deze afhankelijkheid van een groot aantal Gaussians beperkt de toepassing van 3DGS-gebaseerde modellen op apparaten met beperkte geheugencapaciteit. Echter, het simpelweg verminderen van het aantal Gaussians om apparaten met minder geheugen te accommoderen, resulteert in een inferieure kwaliteit vergeleken met wat bereikt kan worden op high-end hardware. Om dit gebrek aan schaalbaarheid aan te pakken, stellen we voor om een Flexibel Detailniveau (FLoD) te integreren in 3DGS, zodat een scène op verschillende detailniveaus kan worden weergegeven afhankelijk van de hardwaremogelijkheden. Terwijl bestaande 3DGS-systemen met LoD zich richten op gedetailleerde reconstructie, biedt onze methode reconstructies met een klein aantal Gaussians voor verminderde geheugeneisen, en een groter aantal Gaussians voor meer detail. Experimenten demonstreren onze verschillende renderingopties met afwegingen tussen renderingkwaliteit en geheugengebruik, waardoor real-time rendering mogelijk is onder verschillende geheugenbeperkingen. Bovendien tonen we aan dat onze methode generaliseert naar verschillende 3DGS-frameworks, wat wijst op het potentieel voor integratie in toekomstige state-of-the-art ontwikkelingen. Projectpagina: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/