Octree-GS: LOD 구조의 3D 가우시안을 활용한 일관된 실시간 렌더링 기술

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

저자: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

초록

최근 3D Gaussian splatting(3D-GS)은 NeRF 기반 신경망 장면 표현에 비해 뛰어난 렌더링 정확도와 효율성을 보여주었습니다. 실시간 렌더링의 가능성을 보여주는 동시에, 3D-GS는 시야 절두체 내에 과도한 수의 Gaussian primitive가 위치하는 복잡한 디테일의 대형 장면에서 렌더링 병목 현상을 겪습니다. 이러한 한계는 특히 줌아웃 뷰에서 두드러지며, 디테일이 다양한 장면에서 일관되지 않은 렌더링 속도를 초래할 수 있습니다. 더욱이, 3D-GS는 휴리스틱 밀도 제어 작업을 통해 다양한 스케일에서 해당 수준의 디테일을 포착하는 데 어려움을 겪는 경우가 많습니다. Level-of-Detail(LOD) 기술에서 영감을 받아, 우리는 Octree-GS를 소개합니다. 이는 최종 렌더링 결과에 기여하는 장면 표현을 위한 LOD 구조의 3D Gaussian 접근 방식을 특징으로 합니다. 우리의 모델은 다중 해상도 앵커 포인트 세트에서 적절한 레벨을 동적으로 선택하며, 적응형 LOD 조정을 통해 일관된 렌더링 성능을 보장하면서도 높은 정확도의 렌더링 결과를 유지합니다.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.