Avatares de códec gaussiano de cuerpo completo relumbrantes.

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Autores: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Resumen

Proponemos Avatares Gaussianos de Códec de Cuerpo Completo Reluminables, un nuevo enfoque para modelar avatares de cuerpo completo reluminables con detalles de alta precisión, incluyendo el rostro y las manos. El desafío único al reluminar avatares de cuerpo completo radica en las grandes deformaciones causadas por la articulación del cuerpo y el impacto resultante en la apariencia causado por el transporte de luz. Los cambios en la postura del cuerpo pueden cambiar drásticamente la orientación de las superficies corporales con respecto a las luces, lo que resulta en cambios locales en la apariencia debido a cambios en las funciones locales de transporte de luz, así como cambios no locales debido a la oclusión entre las partes del cuerpo. Para abordar esto, descomponemos el transporte de luz en efectos locales y no locales. Los cambios locales en la apariencia se modelan utilizando armónicos zonales aprendibles para la transferencia de radiación difusa. A diferencia de los armónicos esféricos, los armónicos zonales son altamente eficientes para rotar bajo la articulación. Esto nos permite aprender la transferencia de radiación difusa en un marco de coordenadas local, lo que separa la transferencia de radiación local de la articulación del cuerpo. Para tener en cuenta los cambios no locales en la apariencia, introducimos una red de sombras que predice sombras dadas las irradiancias entrantes precalculadas en un mallado base. Esto facilita el aprendizaje de sombreados no locales entre las partes del cuerpo. Finalmente, utilizamos un enfoque de sombreado diferido para modelar la transferencia de radiación especular y capturar mejor reflejos y destellos como brillos en los ojos. Demostramos que nuestro enfoque modela exitosamente tanto el transporte de luz local como no local requerido para avatares de cuerpo completo reluminables, con una capacidad de generalización superior bajo condiciones de iluminación novedosas y posturas no vistas.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.