Traductor instantáneo de Gaussians faciales para renderizado facial relumbrante e interactivo.

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

Autores: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

Resumen

Proponemos GauFace, una novedosa representación de Splatting Gaussiano, diseñada para la animación eficiente y renderizado de activos faciales basados en física. Aprovechando fuertes prioridades geométricas y optimización restringida, GauFace garantiza una representación Gaussiana ordenada y estructurada, ofreciendo alta fidelidad e interacción facial en tiempo real de 30 fps a 1440p en una plataforma móvil Snapdragon 8 Gen 2. Luego, presentamos TransGS, un transformador de difusión que traduce instantáneamente activos faciales basados en física a las correspondientes representaciones de GauFace. Específicamente, adoptamos un flujo de trabajo basado en parches para manejar eficazmente el gran número de gaussianas. También introducimos un novedoso esquema de muestreo alineado con píxeles con codificación posicional UV para garantizar el rendimiento y la calidad de renderizado de los activos de GauFace generados por nuestro TransGS. Una vez entrenado, TransGS puede traducir instantáneamente activos faciales con condiciones de iluminación a la representación de GauFace. Con las ricas modalidades de condicionamiento, también permite capacidades de edición y animación que recuerdan a los flujos de trabajo de CG tradicionales. Realizamos extensas evaluaciones y estudios de usuarios, comparados con renderizadores tradicionales en línea y fuera de línea, así como métodos de renderizado neuronal recientes, que demuestran el rendimiento superior de nuestro enfoque para el renderizado de activos faciales. También mostramos diversas aplicaciones inmersivas de activos faciales utilizando nuestro enfoque TransGS y la representación de GauFace, en diversas plataformas como PC, teléfonos e incluso auriculares de realidad virtual.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.