Octree-GS: LOD構造化3Dガウシアンを用いた一貫性のあるリアルタイムレンダリングに向けて

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

著者: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

要旨

最近の3Dガウシアンスプラッティング（3D-GS）は、NeRFベースのニューラルシーン表現と比較して、驚異的なレンダリングの忠実度と効率性を示しています。リアルタイムレンダリングの可能性を示す一方で、3D-GSは、視錐台内に過剰な数のガウシアンプリミティブが存在する大規模で複雑なシーンにおいて、レンダリングのボトルネックに直面します。この制限は、ズームアウトビューで特に顕著であり、詳細が異なるシーンではレンダリング速度が一貫しないことがあります。さらに、異なるスケールでの対応する詳細レベルを、ヒューリスティックな密度制御操作で捉えることがしばしば困難です。Level-of-Detail（LOD）技術に着想を得て、我々はOctree-GSを導入しました。これは、最終的なレンダリング結果に貢献するシーン表現のための詳細レベル分解をサポートするLOD構造化された3Dガウシアンアプローチを特徴としています。我々のモデルは、マルチ解像度のアンカーポイントのセットから適切なレベルを動的に選択し、適応的なLOD調整を行いながら、高忠実度のレンダリング結果を維持しつつ、一貫したレンダリング性能を確保します。

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.