HiFi4G: Hochauflösendes Rendering menschlicher Leistung durch kompakte Gaußsche Splatting

HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian Splatting

December 6, 2023

papers.authors: Yuheng Jiang, Zhehao Shen, Penghao Wang, Zhuo Su, Yu Hong, Yingliang Zhang, Jingyi Yu, Lan Xu

cs.AI

papers.abstract

Wir haben in letzter Zeit enorme Fortschritte bei der fotorealistischen Modellierung und Darstellung von Menschen gesehen. Dennoch bleibt die effiziente Darstellung realistischer menschlicher Bewegungen und deren Integration in den Rasterisierungspipeline eine Herausforderung. In diesem Artikel präsentieren wir HiFi4G, einen expliziten und kompakten, auf Gaußschen Basen beruhenden Ansatz für die hochauflösende Darstellung menschlicher Bewegungen aus dichten Aufnahmen. Unser zentraler Ansatz besteht darin, die 3D-Gaußsche Darstellung mit nicht-starrer Nachverfolgung zu kombinieren, um eine kompakte und kompressionsfreundliche Repräsentation zu erreichen. Zunächst schlagen wir einen Dual-Graph-Mechanismus vor, um Bewegungs-Priors zu erhalten, mit einem groben Deformationsgraphen für eine effektive Initialisierung und einem feinkörnigen Gaußschen Graphen zur Durchsetzung nachfolgender Einschränkungen. Anschließend nutzen wir ein 4D-Gaußsches Optimierungsschema mit adaptiven räumlich-zeitlichen Regularisierern, um das nicht-starre Prior und die Gaußsche Aktualisierung effektiv auszubalancieren. Wir stellen auch ein begleitendes Kompressionsschema mit Restkompensation für immersive Erlebnisse auf verschiedenen Plattformen vor. Es erreicht eine erhebliche Kompressionsrate von etwa 25-fach, mit weniger als 2 MB Speicher pro Frame. Umfangreiche Experimente demonstrieren die Effektivität unseres Ansatzes, der bestehende Methoden in Bezug auf Optimierungsgeschwindigkeit, Darstellungsqualität und Speicheraufwand deutlich übertrifft.

English

We have recently seen tremendous progress in photo-real human modeling and rendering. Yet, efficiently rendering realistic human performance and integrating it into the rasterization pipeline remains challenging. In this paper, we present HiFi4G, an explicit and compact Gaussian-based approach for high-fidelity human performance rendering from dense footage. Our core intuition is to marry the 3D Gaussian representation with non-rigid tracking, achieving a compact and compression-friendly representation. We first propose a dual-graph mechanism to obtain motion priors, with a coarse deformation graph for effective initialization and a fine-grained Gaussian graph to enforce subsequent constraints. Then, we utilize a 4D Gaussian optimization scheme with adaptive spatial-temporal regularizers to effectively balance the non-rigid prior and Gaussian updating. We also present a companion compression scheme with residual compensation for immersive experiences on various platforms. It achieves a substantial compression rate of approximately 25 times, with less than 2MB of storage per frame. Extensive experiments demonstrate the effectiveness of our approach, which significantly outperforms existing approaches in terms of optimization speed, rendering quality, and storage overhead.