Traducteur de Gaussiennes Faciales Instantanées pour un Rendu Facial Relumable et Interactif

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Auteurs: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Résumé

Nous proposons GauFace, une nouvelle représentation de Splatting gaussien, conçue pour l'animation efficace et le rendu d'actifs faciaux basés sur la physique. En exploitant des contraintes géométriques fortes et une optimisation contrainte, GauFace garantit une représentation gaussienne soignée et structurée, offrant une fidélité élevée et une interaction faciale en temps réel de 30 ips à 1440p sur une plateforme mobile Snapdragon 8 Gen 2. Ensuite, nous introduisons TransGS, un transformateur de diffusion qui traduit instantanément les actifs faciaux basés sur la physique en les représentations correspondantes de GauFace. Plus précisément, nous adoptons un pipeline basé sur des patchs pour gérer efficacement le grand nombre de Gaussiennes. Nous introduisons également un nouveau schéma d'échantillonnage aligné sur les pixels avec un codage de position UV pour garantir le débit et la qualité de rendu des actifs GauFace générés par notre TransGS. Une fois entraîné, TransGS peut traduire instantanément des actifs faciaux avec des conditions d'éclairage en représentation de GauFace. Avec les riches modalités de conditionnement, il permet également des capacités d'édition et d'animation rappelant les pipelines CG traditionnels. Nous menons des évaluations approfondies et des études utilisateur, comparées aux moteurs de rendu traditionnels hors ligne et en ligne, ainsi qu'aux méthodes de rendu neuronal récentes, qui démontrent la performance supérieure de notre approche pour le rendu d'actifs faciaux. Nous présentons également diverses applications immersives d'actifs faciaux en utilisant notre approche TransGS et la représentation de GauFace, sur différentes plateformes telles que les PC, les téléphones et même les casques de réalité virtuelle.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.