HiFi4G : Rendu haute fidélité des performances humaines via un compactage par splines gaussiennes

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

Auteurs: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

Résumé

Nous avons récemment assisté à des progrès considérables dans la modélisation et le rendu photo-réalistes d'humains. Cependant, le rendu efficace de performances humaines réalistes et leur intégration dans le pipeline de rastérisation restent des défis majeurs. Dans cet article, nous présentons HiFi4G, une approche explicite et compacte basée sur les Gaussiennes pour le rendu haute fidélité de performances humaines à partir de séquences denses. Notre intuition centrale est de combiner la représentation par Gaussiennes 3D avec un suivi non rigide, obtenant ainsi une représentation compacte et adaptée à la compression. Nous proposons d'abord un mécanisme à double graphe pour obtenir des préalables de mouvement, avec un graphe de déformation grossier pour une initialisation efficace et un graphe de Gaussiennes fin pour imposer des contraintes ultérieures. Ensuite, nous utilisons un schéma d'optimisation de Gaussiennes 4D avec des régularisateurs spatio-temporels adaptatifs pour équilibrer efficacement le préalable non rigide et la mise à jour des Gaussiennes. Nous présentons également un schéma de compression complémentaire avec compensation des résidus pour des expériences immersives sur diverses plateformes. Il atteint un taux de compression substantiel d'environ 25 fois, avec moins de 2 Mo de stockage par image. Des expériences approfondies démontrent l'efficacité de notre approche, qui surpasse significativement les méthodes existantes en termes de vitesse d'optimisation, de qualité de rendu et de surcharge de stockage.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.