HiFi4G: 컴팩트 가우시안 스플래팅을 통한 고품질 인간 퍼포먼스 렌더링

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

저자: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

초록

최근 사진처럼 사실적인 인간 모델링과 렌더링 기술에서 엄청난 진전이 있었습니다. 그러나 사실적인 인간 동작을 효율적으로 렌더링하고 이를 래스터화 파이프라인에 통합하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 고밀도 영상에서 고해상도 인간 동작 렌더링을 위한 명시적이고 간결한 가우시안 기반 접근법인 HiFi4G를 제안합니다. 우리의 핵심 직관은 3D 가우시안 표현과 비강체 추적을 결합하여 간결하고 압축에 적합한 표현을 달성하는 것입니다. 먼저, 효과적인 초기화를 위한 거친 변형 그래프와 후속 제약 조건을 강제하기 위한 세분화된 가우시안 그래프로 구성된 이중 그래프 메커니즘을 제안합니다. 그런 다음, 비강체 사전 정보와 가우시안 업데이트를 효과적으로 균형 잡기 위해 적응형 시공간 정규화를 포함한 4D 가우시안 최적화 기법을 활용합니다. 또한, 다양한 플랫폼에서 몰입형 경험을 제공하기 위한 잔차 보상을 포함한 압축 기법도 제시합니다. 이 기법은 프레임당 2MB 미만의 저장 공간으로 약 25배의 상당한 압축률을 달성합니다. 광범위한 실험을 통해 우리의 접근법이 최적화 속도, 렌더링 품질, 저장 오버헤드 측면에서 기존 방법들을 크게 능가하는 효과를 입증했습니다.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.