GPS-Gaussian: 실시간 인간 신규 시점 합성을 위한 일반화 가능한 픽셀 단위 3D 가우시안 스플래팅

초록

실시간 캐릭터의 새로운 시점 합성을 위한 GPS-Gaussian이라는 새로운 접근 방식을 제안합니다. 본 방법은 희소 시점 카메라 설정에서 2K 해상도 렌더링을 가능하게 합니다. 기존의 Gaussian Splatting이나 신경망 암묵적 렌더링 방법들이 각 대상별 최적화를 필요로 하는 것과 달리, 우리는 소스 뷰에 정의된 Gaussian 파라미터 맵을 도입하여 별도의 미세 조정이나 최적화 없이 즉각적인 새로운 시점 합성을 위한 Gaussian Splatting 속성을 직접 회귀합니다. 이를 위해, 우리는 대량의 인간 스캔 데이터를 기반으로 Gaussian 파라미터 회귀 모듈을 깊이 추정 모듈과 함께 공동으로 학습시켜 2D 파라미터 맵을 3D 공간으로 변환합니다. 제안된 프레임워크는 완전히 미분 가능하며, 여러 데이터셋에 대한 실험 결과 우리의 방법이 최신 기술을 능가하는 동시에 뛰어난 렌더링 속도를 달성함을 보여줍니다.

English

We present a new approach, termed GPS-Gaussian, for synthesizing novel views of a character in a real-time manner. The proposed method enables 2K-resolution rendering under a sparse-view camera setting. Unlike the original Gaussian Splatting or neural implicit rendering methods that necessitate per-subject optimizations, we introduce Gaussian parameter maps defined on the source views and regress directly Gaussian Splatting properties for instant novel view synthesis without any fine-tuning or optimization. To this end, we train our Gaussian parameter regression module on a large amount of human scan data, jointly with a depth estimation module to lift 2D parameter maps to 3D space. The proposed framework is fully differentiable and experiments on several datasets demonstrate that our method outperforms state-of-the-art methods while achieving an exceeding rendering speed.

GPS-Gaussian: 실시간 인간 신규 시점 합성을 위한 일반화 가능한 픽셀 단위 3D 가우시안 스플래팅

GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis

초록

Support