Sofortiger Gesichts-Gauß-Übersetzer für nachbeleuchtbares und interaktives Gesichtsrendering

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Autoren: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Zusammenfassung

Wir schlagen GauFace vor, eine neuartige Gauss'sche Splatting-Repräsentation, die speziell für die effiziente Animation und Darstellung physikalisch basierter Gesichtsobjekte entwickelt wurde. Durch die Nutzung starker geometrischer Voraussetzungen und eingeschränkter Optimierung gewährleistet GauFace eine saubere und strukturierte Gauss'sche Repräsentation, die eine hohe Treue und Echtzeit-Gesichtsinteraktion von 30fps@1440p auf einer Snapdragon 8 Gen 2 Mobilplattform ermöglicht. Anschließend stellen wir TransGS vor, einen Diffusions-Transformer, der physikalisch basierte Gesichtsobjekte sofort in die entsprechenden GauFace-Repräsentationen übersetzt. Speziell verwenden wir eine patchbasierte Pipeline, um die große Anzahl von Gauss'schen Funktionen effektiv zu verarbeiten. Wir führen auch ein neuartiges pixelgenaues Abtastschema mit UV-Positionsencoding ein, um die Durchsatz- und Darstellungsqualität der von unserem TransGS generierten GauFace-Objekte sicherzustellen. Sobald trainiert, kann TransGS Gesichtsobjekte mit Beleuchtungsbedingungen sofort in die GauFace-Repräsentation übersetzen. Mit den vielfältigen Konditionierungsmodalitäten ermöglicht es auch Bearbeitungs- und Animationsfähigkeiten, die an traditionelle CG-Pipelines erinnern. Wir führen umfangreiche Bewertungen und Benutzerstudien durch, verglichen mit traditionellen Offline- und Online-Renderern sowie aktuellen neuronalen Rendering-Methoden, die die überlegene Leistung unseres Ansatzes für die Darstellung von Gesichtsobjekten zeigen. Wir präsentieren auch vielfältige immersive Anwendungen von Gesichtsobjekten unter Verwendung unseres TransGS-Ansatzes und der GauFace-Repräsentation auf verschiedenen Plattformen wie PCs, Telefonen und sogar VR-Headsets.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.