실시간 광도 필드 렌더링을 위한 3D 가우시안 스플래팅
3D Gaussian Splatting for Real-Time Radiance Field Rendering
August 8, 2023
저자: Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis
cs.AI
초록
Radiance Field 방법은 최근 다수의 사진이나 비디오로 캡처된 장면의 새로운 시점 합성에 혁신을 가져왔습니다. 그러나 높은 시각적 품질을 달성하기 위해서는 여전히 학습 및 렌더링 비용이 많이 드는 신경망이 필요하며, 최근의 더 빠른 방법들은 필연적으로 속도와 품질을 교환해야 합니다. 무한하고 완전한 장면(고립된 객체가 아닌)과 1080p 해상도 렌더링을 위해 현재 어떤 방법도 실시간 디스플레이 속도를 달성할 수 없습니다. 우리는 최첨단 시각적 품질을 유지하면서 경쟁력 있는 학습 시간을 확보하고, 특히 1080p 해상도에서 고품질 실시간(>= 30 fps) 새로운 시점 합성을 가능하게 하는 세 가지 핵심 요소를 소개합니다. 첫째, 카메라 캘리브레이션 중 생성된 희소 점들로부터 시작하여, 우리는 빈 공간에서 불필요한 계산을 피하면서도 장면 최적화를 위한 연속적인 체적 Radiance Field의 바람직한 특성을 보존하는 3D 가우시안으로 장면을 표현합니다. 둘째, 우리는 3D 가우시안의 교차 최적화/밀도 제어를 수행하며, 특히 이방성 공분산을 최적화하여 장면의 정확한 표현을 달성합니다. 셋째, 우리는 이방성 스플래팅을 지원하고 학습을 가속화하며 실시간 렌더링을 가능하게 하는 빠른 가시성 인식 렌더링 알고리즘을 개발합니다. 우리는 여러 확립된 데이터셋에서 최첨단 시각적 품질과 실시간 렌더링을 입증합니다.
English
Radiance Field methods have recently revolutionized novel-view synthesis of
scenes captured with multiple photos or videos. However, achieving high visual
quality still requires neural networks that are costly to train and render,
while recent faster methods inevitably trade off speed for quality. For
unbounded and complete scenes (rather than isolated objects) and 1080p
resolution rendering, no current method can achieve real-time display rates. We
introduce three key elements that allow us to achieve state-of-the-art visual
quality while maintaining competitive training times and importantly allow
high-quality real-time (>= 30 fps) novel-view synthesis at 1080p resolution.
First, starting from sparse points produced during camera calibration, we
represent the scene with 3D Gaussians that preserve desirable properties of
continuous volumetric radiance fields for scene optimization while avoiding
unnecessary computation in empty space; Second, we perform interleaved
optimization/density control of the 3D Gaussians, notably optimizing
anisotropic covariance to achieve an accurate representation of the scene;
Third, we develop a fast visibility-aware rendering algorithm that supports
anisotropic splatting and both accelerates training and allows realtime
rendering. We demonstrate state-of-the-art visual quality and real-time
rendering on several established datasets.