실시간 동적 뷰 합성을 위한 시공간 가우시안 특징 스플래팅

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

저자: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

초록

동적 장면의 새로운 시점 합성은 흥미롭지만 도전적인 문제로 남아 있습니다. 최근의 발전에도 불구하고, 고해상도 포토리얼리스틱 결과, 실시간 렌더링, 그리고 컴팩트한 저장 공간을 동시에 달성하는 것은 여전히 어려운 과제입니다. 이러한 문제를 해결하기 위해, 우리는 세 가지 핵심 요소로 구성된 새로운 동적 장면 표현 방법인 Spacetime Gaussian Feature Splatting을 제안합니다. 첫째, 우리는 3D 가우시안에 시간적 투명도와 파라미터화된 움직임/회전을 추가하여 표현력이 풍부한 Spacetime Gaussian을 정의합니다. 이를 통해 Spacetime Gaussian은 장면 내의 정적, 동적, 그리고 일시적인 내용을 모두 포착할 수 있습니다. 둘째, 우리는 구면 조화 함수를 신경망 기반 특징으로 대체하는 splatted feature rendering을 도입합니다. 이러한 특징은 시점과 시간에 따른 외관을 모델링하면서도 작은 크기를 유지할 수 있게 합니다. 셋째, 우리는 학습 오차와 대략적인 깊이 정보를 활용하여 기존 파이프라인으로는 수렴하기 어려운 영역에 새로운 가우시안을 샘플링합니다. 여러 실세계 데이터셋에 대한 실험을 통해, 우리의 방법이 최신의 렌더링 품질과 속도를 달성하면서도 컴팩트한 저장 공간을 유지함을 입증했습니다. 8K 해상도에서, 우리의 라이트 버전 모델은 Nvidia RTX 4090 GPU에서 60 FPS로 렌더링할 수 있습니다.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.