Avatars de codec gaussien à corps entier relumables

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Auteurs: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Résumé

Nous proposons des avatars gaussiens à corps entier reconfigurables, une nouvelle approche pour modéliser des avatars à corps entier reconfigurables avec des détails fins incluant le visage et les mains. Le défi unique pour le reéclairage des avatars à corps entier réside dans les grandes déformations causées par l'articulation du corps et l'impact résultant sur l'apparence causé par le transport de la lumière. Les changements de posture du corps peuvent changer radicalement l'orientation des surfaces du corps par rapport aux lumières, entraînant à la fois des changements d'apparence locaux dus aux changements dans les fonctions locales de transport de la lumière, ainsi que des changements non-locaux dus à l'occultation entre les parties du corps. Pour résoudre cela, nous décomposons le transport de la lumière en effets locaux et non-locaux. Les changements d'apparence locaux sont modélisés en utilisant des harmoniques zonales apprenables pour le transfert de la radiance diffuse. Contrairement aux harmoniques sphériques, les harmoniques zonales sont hautement efficaces pour pivoter sous l'articulation. Cela nous permet d'apprendre le transfert de la radiance diffuse dans un cadre de coordonnées local, ce qui démêle le transfert de la radiance local de l'articulation du corps. Pour tenir compte des changements d'apparence non-locaux, nous introduisons un réseau d'ombres qui prédit les ombres étant donné l'irradiance entrante précalculée sur un maillage de base. Cela facilite l'apprentissage de l'ombrage non-local entre les parties du corps. Enfin, nous utilisons une approche de rendu différé pour modéliser le transfert de la radiance spéculaire et capturer plus précisément les réflexions et les points lumineux tels que les reflets dans les yeux. Nous démontrons que notre approche modélise avec succès à la fois le transport de la lumière local et non-local requis pour les avatars à corps entier reconfigurables, avec une capacité de généralisation supérieure sous des conditions d'éclairage nouvelles et des poses inédites.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.