컴팩트 3D 가우시안 스플래팅을 위한 최급강하 밀도 제어

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

저자: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

초록

3D 가우시안 스플래팅(3DGS)은 실시간 고해상도 신시점 합성을 위한 강력한 기술로 부상했습니다. 3DGS는 장면을 가우시안 프리미티브의 혼합으로 표현함으로써 GPU 래스터화 파이프라인을 활용하여 효율적인 렌더링과 재구성을 가능하게 합니다. 장면 커버리지를 최적화하고 미세한 디테일을 포착하기 위해 3DGS는 추가 포인트를 생성하기 위한 밀집화 알고리즘을 사용합니다. 그러나 이 과정은 종종 중복된 포인트 클라우드를 초래하여 과도한 메모리 사용, 느린 성능 및 상당한 저장 공간 요구를 야기하며, 이는 자원이 제한된 장치에서의 배포에 상당한 어려움을 제기합니다. 이러한 한계를 해결하기 위해, 우리는 3DGS에서의 밀도 제어를 명확히 하고 개선하는 이론적 프레임워크를 제안합니다. 우리의 분석은 분할이 안장점을 탈출하는 데 중요하다는 것을 보여줍니다. 최적화 이론적 접근을 통해, 우리는 밀집화를 위한 필요 조건을 확립하고, 최소한의 자식 가우시안 수를 결정하며, 최적의 매개변수 업데이트 방향을 식별하고, 자식 불투명도 정규화를 위한 분석적 해를 제공합니다. 이러한 통찰을 바탕으로, 우리는 SteepGS를 도입하여, 가장 급격한 밀도 제어를 통한 원칙적 전략을 통해 손실을 최소화하면서도 컴팩트한 포인트 클라우드를 유지합니다. SteepGS는 렌더링 품질을 저하시키지 않으면서 가우시안 포인트를 약 50% 감소시켜, 효율성과 확장성을 크게 향상시킵니다.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.