HiFi4G: Hoogwaardige weergave van menselijke prestaties via compacte Gaussische splatting

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

Auteurs: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

Samenvatting

We hebben recentelijk enorme vooruitgang gezien in het fotorealistisch modelleren en renderen van mensen. Toch blijft het efficiënt renderen van realistische menselijke prestaties en de integratie ervan in het rasterisatiepipeline een uitdaging. In dit artikel presenteren we HiFi4G, een expliciete en compacte Gaussiaanse benadering voor hoogwaardige rendering van menselijke prestaties uit dichte beeldopnamen. Onze kernintuïtie is om de 3D Gaussiaanse representatie te combineren met niet-rigide tracking, wat resulteert in een compacte en compressievriendelijke representatie. We stellen eerst een dual-grafiekmechanisme voor om bewegingsprioriteiten te verkrijgen, met een grove vervormingsgrafiek voor effectieve initialisatie en een fijnmazige Gaussiaanse grafiek om vervolgbeperkingen af te dwingen. Vervolgens gebruiken we een 4D Gaussiaans optimalisatieschema met adaptieve ruimtelijk-temporele regularisatoren om effectief een balans te vinden tussen de niet-rigide prior en Gaussiaanse updates. We presenteren ook een begeleidend compressieschema met restcompensatie voor meeslepende ervaringen op verschillende platforms. Het bereikt een aanzienlijke compressieratio van ongeveer 25 keer, met minder dan 2MB opslag per frame. Uitgebreide experimenten tonen de effectiviteit van onze aanpak aan, die bestaande benaderingen aanzienlijk overtreft op het gebied van optimalisatiesnelheid, renderkwaliteit en opslagoverhead.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.