FLoD : Intégration d'un Niveau de Détail Flexible dans le Splatting Gaussien 3D pour un Rendu Personnalisable

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Auteurs: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Résumé

Le Splatting Gaussien en 3D (3DGS) permet d'obtenir des rendus rapides et de haute qualité en utilisant de nombreux petits Gaussiens, ce qui entraîne une consommation de mémoire significative. Cette dépendance à un grand nombre de Gaussiens restreint l'application des modèles basés sur le 3DGS sur des appareils bon marché en raison de limitations de mémoire. Cependant, simplement réduire le nombre de Gaussiens pour s'adapter aux appareils avec moins de capacité mémoire conduit à une qualité inférieure par rapport à celle qui peut être obtenue sur du matériel haut de gamme. Pour pallier ce manque de scalabilité, nous proposons d'intégrer un Niveau de Détail Flexible (FLoD) au 3DGS, permettant à une scène d'être rendue à différents niveaux de détail en fonction des capacités matérielles. Alors que les 3DGS existants avec LoD se concentrent sur une reconstruction détaillée, notre méthode fournit des reconstructions en utilisant un petit nombre de Gaussiens pour des besoins mémoire réduits, et un plus grand nombre de Gaussiens pour plus de détails. Des expériences démontrent nos différentes options de rendu avec des compromis entre la qualité de rendu et l'utilisation mémoire, permettant ainsi un rendu en temps réel à travers différentes contraintes mémoire. De plus, nous montrons que notre méthode se généralise à différents cadres 3DGS, indiquant son potentiel d'intégration dans les développements futurs de pointe. Page du projet : https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/