GauFRe: 실시간 동적 신규 시점 합성을 위한 가우시안 변형 필드

초록

단안 비디오에 특화된 변형 가능한 3D 가우시안을 활용한 동적 장면 재구성 방법을 제안한다. 가우시안 스플래팅의 효율성을 기반으로, 본 접근법은 정규 공간에 위치한 변형 가능한 가우시안 집합과 다층 퍼셉트론(MLP)에 의해 정의된 시간 의존적 변형 필드를 통해 동적 요소를 수용하도록 표현을 확장한다. 또한, 대부분의 자연 장면이 정적인 영역을 크게 차지한다는 가정 하에, MLP가 표현력을 집중할 수 있도록 정적 가우시안 포인트 클라우드를 추가적으로 포함시킨다. 동적 및 정적 포인트 클라우드를 결합하여 가우시안 스플래팅 래스터라이저에 입력함으로써 실시간 렌더링이 가능하다. 이 미분 가능 파이프라인은 자기 지도 렌더링 손실을 통해 종단 간 최적화된다. 본 방법은 최신 동적 신경 방사 필드 방법과 비슷한 결과를 달성하면서도 훨씬 빠른 최적화와 렌더링을 가능하게 한다. 프로젝트 웹사이트: https://lynl7130.github.io/gaufre/index.html

English

We propose a method for dynamic scene reconstruction using deformable 3D Gaussians that is tailored for monocular video. Building upon the efficiency of Gaussian splatting, our approach extends the representation to accommodate dynamic elements via a deformable set of Gaussians residing in a canonical space, and a time-dependent deformation field defined by a multi-layer perceptron (MLP). Moreover, under the assumption that most natural scenes have large regions that remain static, we allow the MLP to focus its representational power by additionally including a static Gaussian point cloud. The concatenated dynamic and static point clouds form the input for the Gaussian Splatting rasterizer, enabling real-time rendering. The differentiable pipeline is optimized end-to-end with a self-supervised rendering loss. Our method achieves results that are comparable to state-of-the-art dynamic neural radiance field methods while allowing much faster optimization and rendering. Project website: https://lynl7130.github.io/gaufre/index.html

GauFRe: 실시간 동적 신규 시점 합성을 위한 가우시안 변형 필드

GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis

초록

Support