再点灯可能なフルボディガウス符号化アバター

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

著者: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

要旨

私たちは、細かい顔や手を含むディテールを持つリライト可能なフルボディガウス符号化アバターをモデリングする新しいアプローチである「Relightable Full-Body Gaussian Codec Avatars」を提案します。リライト可能なフルボディアバターのユニークな課題は、ボディの関節運動によって引き起こされる大きな変形と、光の伝達によって引き起こされる外観への影響にあります。ボディポーズの変化は、ボディ表面の光に対する向きを劇的に変化させ、局所的な光伝達関数の変化による局所的な外観変化と、ボディパーツ間の遮蔽による非局所的な変化の両方をもたらします。これに対処するために、光の伝達を局所的な効果と非局所的な効果に分解します。局所的な外観変化は、拡散放射輸送のための学習可能なゾーナル調和を使用してモデル化されます。球面調和とは異なり、ゾーナル調和は関節運動下で高効率に回転できます。これにより、局所座標フレームで拡散放射輸送を学習し、ボディの関節運動から局所放射輸送を分離することができます。非局所的な外観変化を考慮するために、事前計算された基本メッシュ上の入射放射輝度を与えられた影ネットワークを導入します。これにより、ボディパーツ間の非局所的な影の学習が容易になります。最後に、眼光などの反射やハイライトをよりよく捉えるために、スペキュラー放射輸送をモデル化するために遅延シェーディングアプローチを使用します。私たちのアプローチが、リライト可能なフルボディアバターに必要な局所的および非局所的な光伝達を成功裏にモデル化し、新しい照明条件や見慣れないポーズ下で優れた汎化能力を持つことを示します。

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.