HiFi4G: Renderização de Alto Fidelidade de Desempenho Humano via Compactação Gaussiana

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

Autores: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

Resumo

Recentemente, temos observado progressos significativos na modelagem e renderização foto-realista de humanos. No entanto, a renderização eficiente de performances humanas realistas e sua integração no pipeline de rasterização continua sendo um desafio. Neste artigo, apresentamos o HiFi4G, uma abordagem explícita e compacta baseada em Gaussianas para a renderização de alta fidelidade de performances humanas a partir de gravações densas. Nossa intuição central é combinar a representação de Gaussianas 3D com rastreamento não rígido, alcançando uma representação compacta e favorável à compressão. Primeiro, propomos um mecanismo de duplo grafo para obter priors de movimento, com um grafo de deformação grosseiro para inicialização eficaz e um grafo de Gaussianas refinado para impor restrições subsequentes. Em seguida, utilizamos um esquema de otimização de Gaussianas 4D com regularizadores espaço-temporais adaptativos para equilibrar efetivamente o prior não rígido e a atualização das Gaussianas. Também apresentamos um esquema de compressão complementar com compensação residual para experiências imersivas em diversas plataformas. Isso alcança uma taxa de compressão substancial de aproximadamente 25 vezes, com menos de 2MB de armazenamento por quadro. Experimentos extensivos demonstram a eficácia de nossa abordagem, que supera significativamente as abordagens existentes em termos de velocidade de otimização, qualidade de renderização e sobrecarga de armazenamento.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.