정적 및 동적 방사도 필드를 위한 간결한 3D 가우시안 스플래팅

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

저자: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

초록

3D 가우시안 스플래팅 (3DGS)은 최근에 등장한 대안 표현 방식으로, 3D 가우시안 기반 표현을 활용하고 근사 체적 렌더링을 도입하여 매우 빠른 렌더링 속도와 고품질 이미지를 달성합니다. 더불어, 후속 연구들에서는 3DGS를 동적 3D 장면으로 성공적으로 확장하여 다양한 응용 분야를 보여주었습니다. 그러나, 3DGS 및 이후 방법들은 렌더링된 이미지의 고신뢰도를 유지하기 위해 상당 수의 가우시안을 필요로 하며, 이는 많은 메모리와 저장 공간을 요구하는 중요한 단점이 발생합니다. 이 심각한 문제를 해결하기 위해, 우리는 두 가지 주요 목표에 특별히 초점을 맞추고 있습니다: 성능을 희생하지 않으면서 가우시안 점의 수를 줄이고, 뷰에 따라 다른 색상 및 공분산과 같은 가우시안 속성을 압축하는 것입니다. 이를 위해, 우리는 높은 성능을 유지하면서 가우시안의 수를 크게 줄이는 학습 가능한 마스크 전략을 제안합니다. 또한, 우리는 구 형태의 신경장을 활용하여 구 형태의 조화함수에 의존하는 대신 뷰에 따라 다른 색상을 간결하고 효과적으로 표현하는 방법을 제안합니다. 마지막으로, 우리는 잔차 벡터 양자화를 통해 기하학적 및 시간적 속성을 간결하게 표현하기 위해 코드북을 학습합니다. 양자화 및 엔트로피 부호화와 같은 모델 압축 기술을 사용하여, 정적 장면에 대해 3DGS와 비교하여 일관되게 25배 이상의 저장 공간 절감과 향상된 렌더링 속도를 보여줍니다. 동적 장면의 경우, 우리의 접근 방식은 기존 최첨단 방법과 비교하여 12배 이상의 저장 효율성을 달성하고 장면 표현의 고품질 재구성을 유지합니다. 우리의 연구는 고성능, 빠른 학습, 간결성 및 실시간 렌더링을 달성하는 3D 장면 표현을 위한 포괄적인 프레임워크를 제공합니다. 우리의 프로젝트 페이지는 https://maincold2.github.io/c3dgs/에서 확인할 수 있습니다.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.