Octree-GS: Hacia una representación en tiempo real consistente con Gaussianas 3D estructuradas en niveles de detalle

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Autores: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Resumen

El reciente método de splatting con Gaussianas 3D (3D-GS) ha demostrado una notable fidelidad y eficiencia en la renderización en comparación con las representaciones de escenas neuronales basadas en NeRF. Aunque muestra potencial para la renderización en tiempo real, 3D-GS enfrenta cuellos de botella en escenas grandes con detalles complejos debido a un número excesivo de primitivas Gaussianas ubicadas dentro del frustum de visión. Esta limitación es particularmente notable en vistas alejadas y puede llevar a velocidades de renderización inconsistentes en escenas con distintos niveles de detalle. Además, a menudo tiene dificultades para capturar el nivel de detalle correspondiente en diferentes escalas con su operación heurística de control de densidad. Inspirados por las técnicas de Nivel de Detalle (LOD), presentamos Octree-GS, que incorpora un enfoque de Gaussianas 3D estructurado en LOD, permitiendo la descomposición de niveles de detalle para la representación de escenas que contribuyen a los resultados finales de renderización. Nuestro modelo selecciona dinámicamente el nivel apropiado de un conjunto de puntos de anclaje multiresolución, asegurando un rendimiento de renderización consistente con ajustes adaptativos de LOD mientras mantiene resultados de alta fidelidad.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.