HiFi4G: Rendering ad Alta Fedeltà delle Prestazioni Umane tramite Splatting Gaussiano Compatto

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

Autori: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

Abstract

Abbiamo recentemente assistito a progressi straordinari nella modellazione e nel rendering fotorealistico di esseri umani. Tuttavia, rendere in modo efficiente prestazioni umane realistiche e integrarle nel pipeline di rasterizzazione rimane una sfida. In questo articolo, presentiamo HiFi4G, un approccio esplicito e compatto basato su Gaussiane per il rendering ad alta fedeltà di prestazioni umane a partire da riprese dense. La nostra intuizione principale è quella di unire la rappresentazione 3D con Gaussiane al tracciamento non rigido, ottenendo una rappresentazione compatta e adatta alla compressione. Proponiamo innanzitutto un meccanismo a doppio grafo per ottenere prior di movimento, con un grafo di deformazione grossolano per un'inizializzazione efficace e un grafo di Gaussiane granulare per imporre vincoli successivi. Successivamente, utilizziamo uno schema di ottimizzazione 4D con Gaussiane e regolarizzatori spazio-temporali adattivi per bilanciare efficacemente il prior non rigido e l'aggiornamento delle Gaussiane. Presentiamo inoltre uno schema di compressione complementare con compensazione residua per esperienze immersive su varie piattaforme. Questo raggiunge un tasso di compressione sostanziale di circa 25 volte, con meno di 2MB di archiviazione per fotogramma. Esperimenti estensivi dimostrano l'efficacia del nostro approccio, che supera significativamente i metodi esistenti in termini di velocità di ottimizzazione, qualità del rendering e sovraccarico di archiviazione.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.