Octree-GS: Auf dem Weg zu konsistenter Echtzeitdarstellung mit LOD-strukturierten 3D-Gaußschen.

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Autoren: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Zusammenfassung

Die kürzlich entwickelte 3D-Gaußsplatting (3D-GS) hat im Vergleich zu auf NeRF basierenden neuronalen Szenenrepräsentationen eine bemerkenswerte Renderingtreue und Effizienz gezeigt. Während sie das Potenzial für Echtzeit-Rendering aufzeigt, stößt 3D-GS in großen Szenen mit komplexen Details auf Rendering-Engpässe aufgrund einer übermäßigen Anzahl von Gauß-Primitiven innerhalb des Sichtfrustums. Diese Einschränkung ist insbesondere bei herausgezoomten Ansichten deutlich erkennbar und kann zu inkonsistenten Rendering-Geschwindigkeiten in Szenen mit unterschiedlichen Details führen. Darüber hinaus hat es oft Schwierigkeiten, das entsprechende Detailniveau in verschiedenen Maßstäben mit seinem heuristischen Dichtesteuerungsverfahren zu erfassen. Inspiriert von den Techniken des Detaillierungsgrads (LOD) führen wir Octree-GS ein, das einen LOD-strukturierten 3D-Gauß-Ansatz unterstützt, der eine Detaillierungsgradzerlegung für die Szenendarstellung ermöglicht und zu den endgültigen Rendering-Ergebnissen beiträgt. Unser Modell wählt dynamisch das geeignete Niveau aus der Gruppe von mehrstufigen Ankerpunkten aus, um eine konsistente Rendering-Leistung mit adaptiven LOD-Anpassungen sicherzustellen und gleichzeitig hochwertige Rendering-Ergebnisse zu erzielen.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.