Directe Gezichtsgaussians Vertaler voor Herbelichtbare en Interactieve Gezichtsweergave

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Auteurs: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Samenvatting

Wij stellen GauFace voor, een nieuw Gaussian Splatting-representatie, op maat gemaakt voor efficiënte animatie en rendering van op fysica gebaseerde gezichtsassets. Door sterke geometrische aannames en beperkte optimalisatie te benutten, zorgt GauFace voor een nette en gestructureerde Gaussian-representatie, wat resulteert in een hoge nauwkeurigheid en real-time gezichtsinteractie van 30fps@1440p op een Snapdragon 8 Gen 2 mobiel platform. Vervolgens introduceren we TransGS, een diffusietransformator die fysiek gebaseerde gezichtsassets direct vertaalt naar de overeenkomstige GauFace-representaties. Specifiek passen we een patch-gebaseerde pijplijn toe om effectief om te gaan met het grote aantal Gaussians. We introduceren ook een nieuw pixel-uitgelijnd bemonsteringsschema met UV-positie-encodering om de doorvoer en renderkwaliteit van GauFace-assets gegenereerd door onze TransGS te waarborgen. Eenmaal getraind, kan TransGS direct gezichtsassets met belichtingsomstandigheden vertalen naar GauFace-representatie. Met de rijke conditioneringmodaliteiten maakt het ook bewerkings- en animatiemogelijkheden mogelijk die doen denken aan traditionele CG-pijplijnen. We voeren uitgebreide evaluaties en gebruikersstudies uit, vergeleken met traditionele offline en online renderers, evenals recente neurale rendermethoden, die de superieure prestaties van onze benadering voor gezichtsassetrendering aantonen. We tonen ook diverse meeslepende toepassingen van gezichtsassets met behulp van onze TransGS-benadering en GauFace-representatie, op verschillende platforms zoals pc's, telefoons en zelfs VR-headsets.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.