Octree-GS: Достижение последовательного реального времени визуализации с 3D гауссианами на основе уровней детализации.

Octree-GS: Towards Consistent Real-time Rendering with LOD-Structured 3D Gaussians

March 26, 2024

Авторы: Kerui Ren, Lihan Jiang, Tao Lu, Mulin Yu, Linning Xu, Zhangkai Ni, Bo Dai

cs.AI

Аннотация

Недавний метод трехмерного гауссовского сплэтинга (3D-GS) продемонстрировал выдающуюся точность и эффективность рендеринга по сравнению с нейросетевыми представлениями сцены на основе NeRF. В то время как показывая потенциал для рендеринга в реальном времени, 3D-GS сталкивается с проблемами рендеринга в больших сценах с сложными деталями из-за избыточного количества гауссовских примитивов, находящихся внутри пирамиды обзора. Это ограничение особенно заметно в виде при уменьшении масштаба и может привести к неодинаковой скорости рендеринга в сценах с различными деталями. Более того, часто возникают трудности в захвате соответствующего уровня деталей на разных масштабах с помощью его эвристической операции управления плотностью. Вдохновленные техниками уровня деталей (LOD), мы представляем Octree-GS, представляющий собой метод трехмерного гауссовского сплэтинга с LOD-структурой, поддерживающий декомпозицию уровня деталей для представления сцены, что способствует окончательным результатам рендеринга. Наша модель динамически выбирает соответствующий уровень из набора многоуровневых опорных точек, обеспечивая постоянную производительность рендеринга с адаптивными настройками LOD при сохранении высокоточных результатов рендеринга.

English

The recent 3D Gaussian splatting (3D-GS) has shown remarkable rendering fidelity and efficiency compared to NeRF-based neural scene representations. While demonstrating the potential for real-time rendering, 3D-GS encounters rendering bottlenecks in large scenes with complex details due to an excessive number of Gaussian primitives located within the viewing frustum. This limitation is particularly noticeable in zoom-out views and can lead to inconsistent rendering speeds in scenes with varying details. Moreover, it often struggles to capture the corresponding level of details at different scales with its heuristic density control operation. Inspired by the Level-of-Detail (LOD) techniques, we introduce Octree-GS, featuring an LOD-structured 3D Gaussian approach supporting level-of-detail decomposition for scene representation that contributes to the final rendering results. Our model dynamically selects the appropriate level from the set of multi-resolution anchor points, ensuring consistent rendering performance with adaptive LOD adjustments while maintaining high-fidelity rendering results.