Octree-GS: Rumando à Renderização em Tempo Real Consistente com Gaussianas 3D Estruturadas em Níveis de Detalhe

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Autores: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Resumo

O recente método de splatting com Gaussianas 3D (3D-GS) demonstrou uma fidelidade e eficiência de renderização notáveis em comparação com as representações de cena neural baseadas em NeRF. Embora mostre potencial para renderização em tempo real, o 3D-GS enfrenta gargalos de renderização em cenas grandes com detalhes complexos devido ao número excessivo de primitivas Gaussianas localizadas dentro do frustum de visualização. Essa limitação é particularmente perceptível em visões ampliadas e pode levar a velocidades de renderização inconsistentes em cenas com detalhes variados. Além disso, o método frequentemente tem dificuldade em capturar o nível correspondente de detalhes em diferentes escalas com sua operação heurística de controle de densidade. Inspirados pelas técnicas de Nível de Detalhe (LOD), introduzimos o Octree-GS, que apresenta uma abordagem de Gaussianas 3D estruturada em LOD, suportando a decomposição de nível de detalhe para representação de cena que contribui para os resultados finais de renderização. Nosso modelo seleciona dinamicamente o nível apropriado a partir de um conjunto de pontos de ancoragem multi-resolução, garantindo um desempenho de renderização consistente com ajustes adaptativos de LOD, enquanto mantém resultados de renderização de alta fidelidade.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.