Tradutor Instantâneo de Gaussiana Facial para Renderização Facial Reluzente e Interativa

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Autores: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Resumo

Propomos o GauFace, uma nova representação de Splatting Gaussiano, adaptada para a animação eficiente e renderização de ativos faciais baseados em física. Aproveitando fortes premissas geométricas e otimização restrita, o GauFace garante uma representação Gaussiana limpa e estruturada, proporcionando alta fidelidade e interação facial em tempo real de 30fps@1440p em uma plataforma móvel Snapdragon 8 Gen 2. Em seguida, introduzimos o TransGS, um transformador de difusão que traduz instantaneamente ativos faciais baseados em física para as respectivas representações do GauFace. Especificamente, adotamos um pipeline baseado em patches para lidar de forma eficaz com o vasto número de Gaussianas. Também introduzimos um novo esquema de amostragem alinhado a pixels com codificação posicional UV para garantir o rendimento e a qualidade de renderização dos ativos do GauFace gerados pelo nosso TransGS. Uma vez treinado, o TransGS pode traduzir instantaneamente ativos faciais com condições de iluminação para a representação do GauFace. Com as ricas modalidades de condicionamento, ele também possibilita capacidades de edição e animação reminiscentes dos pipelines CG tradicionais. Realizamos extensas avaliações e estudos de usuários, comparados a renderizadores tradicionais offline e online, bem como métodos recentes de renderização neural, que demonstram o desempenho superior de nossa abordagem para a renderização de ativos faciais. Também apresentamos diversas aplicações imersivas de ativos faciais usando nossa abordagem TransGS e representação do GauFace, em várias plataformas como PCs, telefones e até headsets de RV.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.