FLoD: Integrando Níveis Flexíveis de Detalhe na Splatting Gaussiana 3D para Renderização Personalizável

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Autores: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Resumo

A Splatting Gaussiano 3D (3DGS) alcança renderizações rápidas e de alta qualidade ao utilizar inúmeros pequenos Gaussianos, o que resulta em um consumo significativo de memória. Essa dependência de um grande número de Gaussianos restringe a aplicação de modelos baseados em 3DGS em dispositivos de baixo custo devido a limitações de memória. No entanto, simplesmente reduzir o número de Gaussianos para se adequar a dispositivos com menor capacidade de memória resulta em qualidade inferior em comparação com a qualidade que pode ser alcançada em hardware de ponta. Para lidar com essa falta de escalabilidade, propomos integrar um Nível de Detalhe Flexível (FLoD) ao 3DGS, permitindo que uma cena seja renderizada em diferentes níveis de detalhe de acordo com as capacidades do hardware. Enquanto os 3DGSs existentes com LoD focam na reconstrução detalhada, nosso método fornece reconstruções usando um pequeno número de Gaussianos para requisitos reduzidos de memória e um maior número de Gaussianos para maior detalhamento. Experimentos demonstram nossas diversas opções de renderização com compensações entre qualidade de renderização e uso de memória, permitindo assim a renderização em tempo real em diferentes restrições de memória. Além disso, mostramos que nosso método generaliza para diferentes estruturas de 3DGS, indicando seu potencial para integração em futuros desenvolvimentos de ponta. Página do projeto: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/