HiFi4G: コンパクトガウススプラッティングによる高精細人間パフォーマンスレンダリング

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

著者: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

要旨

近年、フォトリアルな人間モデリングとレンダリングにおいて目覚ましい進展が見られています。しかし、現実的な人間のパフォーマンスを効率的にレンダリングし、ラスタライゼーションパイプラインに統合することは依然として課題です。本論文では、高密度映像からの高精細な人間パフォーマンスレンダリングのための明示的かつコンパクトなガウシアンベースのアプローチであるHiFi4Gを提案します。私たちの核心的な直感は、3Dガウシアン表現と非剛体トラッキングを組み合わせることで、コンパクトで圧縮に適した表現を実現することです。まず、モーションプライアを取得するためのデュアルグラフメカニズムを提案し、効果的な初期化のための粗い変形グラフと、その後の制約を課すための細粒度のガウシアングラフを導入します。次に、適応的な時空間正則化器を用いた4Dガウシアン最適化スキームを活用し、非剛体プライアとガウシアン更新のバランスを効果的に取ります。また、様々なプラットフォームでの没入型体験のための残差補償を伴う圧縮スキームも提示します。これにより、1フレームあたり2MB未満のストレージで約25倍の大幅な圧縮率を達成します。広範な実験を通じて、本アプローチの有効性が実証され、最適化速度、レンダリング品質、ストレージオーバーヘッドの点で既存のアプローチを大幅に上回ることが示されています。

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.