再利用可能で相互作用可能な顔のレンダリングのための瞬時顔ガウス翻訳者

Instant Facial Gaussians Translator for Relightable and Interactable Facial Rendering

September 11, 2024

著者: Dafei Qin, Hongyang Lin, Qixuan Zhang, Kaichun Qiao, Longwen Zhang, Zijun Zhao, Jun Saito, Jingyi Yu, Lan Xu, Taku Komura

cs.AI

要旨

私たちは、物理ベースの顔のアセットを効率的にアニメーション化およびレンダリングするために特化した革新的なガウススプラッティング表現であるGauFaceを提案します。強力な幾何学的先行条件と制約付き最適化を活用することで、GauFaceは整然とした構造のガウス表現を確実にし、Snapdragon 8 Gen 2モバイルプラットフォームで1440pの30fpsの高忠実度かつリアルタイムな顔のインタラクションを提供します。 次に、物理ベースの顔のアセットを対応するGauFace表現に即座に変換する拡散トランスフォーマーであるTransGSを紹介します。具体的には、広範な数のガウス関数を効果的に処理するためにパッチベースのパイプラインを採用します。また、UV位置符号化を用いた新しいピクセル整列サンプリング方式を導入し、TransGSによって生成されたGauFaceアセットのスループットとレンダリング品質を確保します。訓練を終えると、TransGSは照明条件を伴う顔のアセットを即座にGauFace表現に変換できます。豊富な条件モダリティを備えており、従来のCGパイプラインを思わせる編集およびアニメーション機能も可能です。 私たちは、従来のオフラインおよびオンラインレンダラー、最近のニューラルレンダリング手法と比較して、顔のアセットのレンダリングに対するアプローチの優れた性能を示す、広範な評価とユーザースタディを実施します。また、TransGSアプローチとGauFace表現を用いた顔のアセットの多様な没入型アプリケーションを、PC、携帯電話、さらにはVRヘッドセットなどのさまざまなプラットフォームで紹介します。

English

We propose GauFace, a novel Gaussian Splatting representation, tailored for efficient animation and rendering of physically-based facial assets. Leveraging strong geometric priors and constrained optimization, GauFace ensures a neat and structured Gaussian representation, delivering high fidelity and real-time facial interaction of 30fps@1440p on a Snapdragon 8 Gen 2 mobile platform. Then, we introduce TransGS, a diffusion transformer that instantly translates physically-based facial assets into the corresponding GauFace representations. Specifically, we adopt a patch-based pipeline to handle the vast number of Gaussians effectively. We also introduce a novel pixel-aligned sampling scheme with UV positional encoding to ensure the throughput and rendering quality of GauFace assets generated by our TransGS. Once trained, TransGS can instantly translate facial assets with lighting conditions to GauFace representation, With the rich conditioning modalities, it also enables editing and animation capabilities reminiscent of traditional CG pipelines. We conduct extensive evaluations and user studies, compared to traditional offline and online renderers, as well as recent neural rendering methods, which demonstrate the superior performance of our approach for facial asset rendering. We also showcase diverse immersive applications of facial assets using our TransGS approach and GauFace representation, across various platforms like PCs, phones and even VR headsets.