Octree-GS : Vers un rendu en temps réel cohérent avec des gaussiennes 3D structurées en niveaux de détail

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Auteurs: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Résumé

La récente technique de splatting par Gaussiennes 3D (3D-GS) a démontré une fidélité et une efficacité de rendu remarquables par rapport aux représentations de scènes neuronales basées sur NeRF. Bien qu'elle montre un potentiel pour le rendu en temps réel, la 3D-GS rencontre des goulots d'étranglement dans les scènes de grande taille avec des détails complexes en raison d'un nombre excessif de primitives Gaussiennes situées dans le frustum de vision. Cette limitation est particulièrement visible dans les vues éloignées et peut entraîner des vitesses de rendu incohérentes dans les scènes avec des détails variés. De plus, elle a souvent du mal à capturer le niveau de détails correspondant à différentes échelles avec son opération heuristique de contrôle de densité. Inspirés par les techniques de Niveau de Détail (LOD), nous introduisons Octree-GS, qui propose une approche de Gaussiennes 3D structurée en LOD, supportant une décomposition en niveaux de détail pour la représentation de scènes qui contribue aux résultats de rendu finaux. Notre modèle sélectionne dynamiquement le niveau approprié parmi un ensemble de points d'ancrage multi-résolution, garantissant une performance de rendu cohérente grâce à des ajustements adaptatifs du LOD tout en maintenant des résultats de rendu de haute fidélité.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.