Octree-GS: Verso un Rendering Real-time Coerente con Gaussiane 3D Strutturate a Livelli di Dettaglio (LOD)

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Autori: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Abstract

Il recente metodo di 3D Gaussian splatting (3D-GS) ha dimostrato una notevole fedeltà ed efficienza di rendering rispetto alle rappresentazioni neurali di scene basate su NeRF. Pur mostrando un potenziale per il rendering in tempo reale, il 3D-GS incontra colli di bottiglia nel rendering di scene ampie con dettagli complessi a causa di un numero eccessivo di primitive gaussiane situate all'interno del frustum visivo. Questa limitazione è particolarmente evidente nelle viste zoomate e può portare a velocità di rendering inconsistenti in scene con dettagli variabili. Inoltre, spesso fatica a catturare il corrispondente livello di dettaglio a diverse scale con la sua operazione euristica di controllo della densità. Ispirati dalle tecniche di Level-of-Detail (LOD), introduciamo Octree-GS, che presenta un approccio a 3D Gaussian strutturato con LOD, supportando la scomposizione del livello di dettaglio per la rappresentazione della scene che contribuisce ai risultati finali del rendering. Il nostro modello seleziona dinamicamente il livello appropriato da un insieme di punti di ancoraggio multi-risoluzione, garantendo prestazioni di rendering consistenti con adattamenti LOD adattativi, mantenendo al contempo risultati di rendering ad alta fedeltà.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.