Traduttore istantaneo di Gaussiane facciali per il rendering facciale riaccendibile e interattivo

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Autori: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Abstract

Proponiamo GauFace, una nuova rappresentazione Gaussian Splatting, progettata per un'animazione efficiente e il rendering di asset facciali basati sulla fisica. Sfruttando forti vincoli geometrici e ottimizzazione vincolata, GauFace garantisce una rappresentazione Gaussiana ordinata e strutturata, offrendo un'alta fedeltà e un'interazione facciale in tempo reale di 30fps@1440p su una piattaforma mobile Snapdragon 8 Gen 2. Successivamente, introduciamo TransGS, un trasformatore di diffusione che traduce istantaneamente asset facciali basati sulla fisica nelle corrispondenti rappresentazioni GauFace. In particolare, adottiamo un flusso di lavoro basato su patch per gestire efficacemente il vasto numero di Gaussiane. Introduciamo inoltre un nuovo schema di campionamento allineato ai pixel con codifica posizionale UV per garantire la capacità di throughput e la qualità del rendering degli asset GauFace generati dal nostro TransGS. Una volta addestrato, TransGS può tradurre istantaneamente asset facciali con condizioni di illuminazione nella rappresentazione GauFace. Con le ricche modalità di condizionamento, consente anche capacità di modifica e animazione che ricordano i tradizionali flussi di lavoro CG. Conduciamo valutazioni approfondite e studi utente, confrontando renderer tradizionali offline e online, nonché recenti metodi di rendering neurale, che dimostrano le prestazioni superiori del nostro approccio per il rendering di asset facciali. Mostriamo inoltre diverse applicazioni immersive di asset facciali utilizzando il nostro approccio TransGS e la rappresentazione GauFace, su varie piattaforme come PC, telefoni e persino visori VR.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.