Octree-GS: Naar consistente real-time rendering met LOD-gestructureerde 3D-gaussians

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Auteurs: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Samenvatting

De recente 3D Gaussian splatting (3D-GS) heeft opmerkelijke weergavekwaliteit en efficiëntie getoond in vergelijking met NeRF-gebaseerde neurale scène-representaties. Hoewel het de potentie voor real-time rendering aantoont, loopt 3D-GS tegen weergavebeperkingen aan in grote scènes met complexe details vanwege een overmatig aantal Gaussische primitieven binnen het zichtfrustum. Deze beperking is vooral merkbaar bij uitgezoomde weergaven en kan leiden tot inconsistente rendersnelheden in scènes met variërende details. Bovendien heeft het vaak moeite om het corresponderende detailniveau op verschillende schalen vast te leggen met zijn heuristische dichtheidscontrole-operatie. Geïnspireerd door Level-of-Detail (LOD)-technieken introduceren we Octree-GS, dat een LOD-gestructureerde 3D Gaussische aanpak biedt die ondersteuning biedt voor niveau-van-detail-decompositie voor scène-representatie die bijdraagt aan de uiteindelijke weergaveresultaten. Ons model selecteert dynamisch het juiste niveau uit de set van multi-resolutie ankerpunten, waardoor consistente renderprestaties worden gegarandeerd met adaptieve LOD-aanpassingen terwijl hoogwaardige weergaveresultaten behouden blijven.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.