가우시안 스플래팅에서의 밀집화 개선

Revising Densification in Gaussian Splatting

April 9, 2024

저자: Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder

cs.AI

초록

본 논문에서는 새로운 시점 합성을 위해 고품질의 사실적인 결과를 달성하는 장면 표현 방법인 3D 가우시안 스플래팅(3DGS)에서 적응형 밀도 제어(ADC)의 한계점을 다룹니다. ADC는 자동 3D 점 프리미티브 관리를 위해 도입되어 밀도화 및 제거를 제어하지만, 밀도화 로직에서 특정 한계를 가지고 있습니다. 우리의 주요 기여는 3DGS에서 밀도 제어를 위한 보다 원칙적이고 픽셀 오류 기반의 공식을 제안하며, 이를 위해 보조적인 픽셀 단위 오류 함수를 밀도화 기준으로 활용합니다. 또한, 장면당 생성되는 총 프리미티브 수를 제어하는 메커니즘을 도입하고, 복제 작업 중 ADC의 현재 불투명도 처리 전략에 존재하는 편향을 수정합니다. 우리의 접근 방식은 다양한 벤치마크 장면에서 일관된 품질 향상을 이끌어내면서도 방법의 효율성을 희생하지 않습니다.

English

In this paper, we address the limitations of Adaptive Density Control (ADC) in 3D Gaussian Splatting (3DGS), a scene representation method achieving high-quality, photorealistic results for novel view synthesis. ADC has been introduced for automatic 3D point primitive management, controlling densification and pruning, however, with certain limitations in the densification logic. Our main contribution is a more principled, pixel-error driven formulation for density control in 3DGS, leveraging an auxiliary, per-pixel error function as the criterion for densification. We further introduce a mechanism to control the total number of primitives generated per scene and correct a bias in the current opacity handling strategy of ADC during cloning operations. Our approach leads to consistent quality improvements across a variety of benchmark scenes, without sacrificing the method's efficiency.