기하학적으로 정확한 방사 필드를 위한 2D 가우시안 스플래팅

2D Gaussian Splatting for Geometrically Accurate Radiance Fields

March 26, 2024

저자: Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao

cs.AI

초록

3D 가우시안 스플래팅(3DGS)은 최근 래디언스 필드 재구성 분야를 혁신적으로 변화시켰으며, 베이킹 없이도 고품질의 새로운 시점 합성과 빠른 렌더링 속도를 달성했습니다. 그러나 3D 가우시안의 다중 시점 불일치 특성으로 인해 3DGS는 표면을 정확하게 표현하지 못합니다. 본 논문에서는 다중 시점 이미지로부터 기하학적으로 정확한 래디언스 필드를 모델링하고 재구성하기 위한 새로운 접근법인 2D 가우시안 스플래팅(2DGS)을 제안합니다. 우리의 핵심 아이디어는 3D 볼륨을 일련의 2D 방향성 평면 가우시안 디스크로 축소하는 것입니다. 3D 가우시안과 달리, 2D 가우시안은 본질적으로 표면을 모델링하면서도 시점 일관적인 기하학을 제공합니다. 얇은 표면을 정확하게 복원하고 안정적인 최적화를 달성하기 위해, 우리는 광선-스플랫 교차와 래스터화를 활용한 정확한 시점 2D 스플래팅 프로세스를 도입했습니다. 또한, 재구성 품질을 더욱 향상시키기 위해 깊이 왜곡과 법선 일관성 항을 통합했습니다. 우리의 미분 가능 렌더러는 잡음 없는 세밀한 기하학적 재구성을 가능하게 하면서도 경쟁력 있는 외관 품질, 빠른 학습 속도, 실시간 렌더링을 유지함을 입증했습니다. 우리의 코드는 공개될 예정입니다.

English

3D Gaussian Splatting (3DGS) has recently revolutionized radiance field reconstruction, achieving high quality novel view synthesis and fast rendering speed without baking. However, 3DGS fails to accurately represent surfaces due to the multi-view inconsistent nature of 3D Gaussians. We present 2D Gaussian Splatting (2DGS), a novel approach to model and reconstruct geometrically accurate radiance fields from multi-view images. Our key idea is to collapse the 3D volume into a set of 2D oriented planar Gaussian disks. Unlike 3D Gaussians, 2D Gaussians provide view-consistent geometry while modeling surfaces intrinsically. To accurately recover thin surfaces and achieve stable optimization, we introduce a perspective-accurate 2D splatting process utilizing ray-splat intersection and rasterization. Additionally, we incorporate depth distortion and normal consistency terms to further enhance the quality of the reconstructions. We demonstrate that our differentiable renderer allows for noise-free and detailed geometry reconstruction while maintaining competitive appearance quality, fast training speed, and real-time rendering. Our code will be made publicly available.