재조명 및 상호작용 가능한 얼굴 렌더링을 위한 즉각적인 얼굴 가우시안 번역기

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

저자: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

초록

우리는 물리 기반 얼굴 자산의 효율적인 애니메이션 및 렌더링을 위해 맞춤형으로 개발된 새로운 가우시안 스플래팅 표현인 GauFace를 제안합니다. 강력한 기하학적 사전 지식과 제한된 최적화를 활용하여 GauFace는 깔끔하고 구조화된 가우시안 표현을 보장하여 Snapdragon 8 Gen 2 모바일 플랫폼에서 1440p 해상도에서 30fps의 고도의 신뢰성과 실시간 얼굴 상호작용을 제공합니다. 그런 다음, 물리 기반 얼굴 자산을 해당 GauFace 표현으로 즉시 변환하는 확산 트랜스포머 인 TransGS를 소개합니다. 구체적으로, 우리는 광범위한 수의 가우시안을 효과적으로 처리하기 위해 패치 기반 파이프라인을 채택합니다. 또한 우리의 TransGS에 의해 생성된 GauFace 자산의 처리량과 렌더링 품질을 보장하기 위해 새로운 픽셀 정렬 샘플링 방식과 UV 위치 인코딩을 소개합니다. 훈련을 받은 후, TransGS는 조명 조건이 있는 얼굴 자산을 즉시 GauFace 표현으로 번역할 수 있습니다. 풍부한 조건부 모달리티를 통해 전통적인 CG 파이프라인을 연상시키는 편집 및 애니메이션 기능도 가능합니다. 우리의 접근 방식이 얼굴 자산 렌더링에 대해 우수한 성능을 보여주는 것을 입증하기 위해 전통적인 오프라인 및 온라인 렌더러 및 최근의 신경 렌더링 방법과 비교한 방대한 평가 및 사용자 연구를 실시합니다. 또한 우리의 TransGS 접근 방식과 GauFace 표현을 활용한 다양한 풍부한 얼굴 자산의 몰입형 응용 프로그램을 PC, 휴대폰 및 심지어 VR 헤드셋과 같은 다양한 플랫폼에서 소개합니다.

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.