HiFi4G: Representación de Alto Realismo del Desempeño Humano mediante Proyección Compacta de Gaussianos

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

Autores: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

Resumen

Recientemente hemos presenciado avances significativos en el modelado y renderizado foto-realista de humanos. Sin embargo, renderizar de manera eficiente actuaciones humanas realistas e integrarlas en el pipeline de rasterización sigue siendo un desafío. En este artículo, presentamos HiFi4G, un enfoque explícito y compacto basado en Gaussianas para el renderizado de alta fidelidad de actuaciones humanas a partir de secuencias densas. Nuestra intuición central es combinar la representación de Gaussianas 3D con el seguimiento no rígido, logrando una representación compacta y amigable para la compresión. Primero, proponemos un mecanismo de doble grafo para obtener priores de movimiento, con un grafo de deformación gruesa para una inicialización efectiva y un grafo de Gaussianas de grano fino para imponer restricciones posteriores. Luego, utilizamos un esquema de optimización de Gaussianas 4D con regularizadores espacio-temporales adaptativos para equilibrar de manera efectiva el prior no rígido y la actualización de las Gaussianas. También presentamos un esquema de compresión complementario con compensación residual para experiencias inmersivas en diversas plataformas. Este logra una tasa de compresión sustancial de aproximadamente 25 veces, con menos de 2MB de almacenamiento por fotograma. Experimentos extensos demuestran la efectividad de nuestro enfoque, el cual supera significativamente a los métodos existentes en términos de velocidad de optimización, calidad de renderizado y sobrecarga de almacenamiento.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.