FLoD: Integrando un Nivel de Detalle Flexible en el Splatting Gaussiano 3D para Renderizado Personalizable

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Autores: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Resumen

La técnica de Splatting Gaussiano en 3D (3DGS) logra renderizaciones rápidas y de alta calidad mediante el uso de numerosas pequeñas distribuciones gaussianas, lo que resulta en un consumo significativo de memoria. Esta dependencia de un gran número de gaussianas limita la aplicación de modelos basados en 3DGS en dispositivos económicos debido a restricciones de memoria. Sin embargo, simplemente reducir el número de gaussianas para adaptarse a dispositivos con menor capacidad de memoria conlleva a una calidad inferior en comparación con la que se puede lograr en hardware de gama alta. Para abordar esta falta de escalabilidad, proponemos integrar un Nivel de Detalle Flexible (FLoD) al 3DGS, permitiendo que una escena se renderice en diferentes niveles de detalle según las capacidades del hardware. Mientras que los 3DGS existentes con LoD se centran en una reconstrucción detallada, nuestro método proporciona reconstrucciones utilizando un pequeño número de gaussianas para reducir los requisitos de memoria, y un mayor número de gaussianas para obtener mayor detalle. Experimentos demuestran nuestras diversas opciones de renderizado con compensaciones entre calidad de renderizado y uso de memoria, permitiendo así el renderizado en tiempo real en diferentes restricciones de memoria. Además, mostramos que nuestro método se generaliza a diferentes marcos de trabajo de 3DGS, lo que indica su potencial para integrarse en futuros desarrollos de vanguardia. Página del proyecto: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/