Avatares de Código Gaussiano de Corpo Inteiro Relumináveis

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Autores: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Resumo

Propomos Avatares Gaussianos de Corpo Inteiro Reluzentes, uma nova abordagem para modelar avatares de corpo inteiro reluzentes com detalhes refinados, incluindo rosto e mãos. O desafio único para reluzir avatares de corpo inteiro reside nas grandes deformações causadas pela articulação do corpo e o impacto resultante na aparência causado pelo transporte de luz. Mudanças na pose do corpo podem alterar drasticamente a orientação das superfícies corporais em relação às luzes, resultando em mudanças de aparência locais devido a alterações nas funções locais de transporte de luz, bem como mudanças não locais devido à oclusão entre partes do corpo. Para lidar com isso, decomponemos o transporte de luz em efeitos locais e não locais. Mudanças de aparência locais são modeladas usando harmônicos zonais aprendíveis para transferência de radiância difusa. Ao contrário dos harmônicos esféricos, os harmônicos zonais são altamente eficientes para girar sob articulação. Isso nos permite aprender a transferência de radiância difusa em um quadro de coordenadas local, que separa a transferência de radiância local da articulação do corpo. Para considerar mudanças de aparência não locais, introduzimos uma rede de sombras que prevê sombras dadas as irradiâncias de entrada pré-computadas em uma malha base. Isso facilita a aprendizagem de sombreamentos não locais entre as partes do corpo. Por fim, usamos uma abordagem de sombreamento diferido para modelar a transferência de radiância especular e capturar melhor reflexos e destaques, como brilhos nos olhos. Demonstramos que nossa abordagem modela com sucesso tanto o transporte de luz local quanto não local necessário para avatares de corpo inteiro reluzentes, com uma capacidade de generalização superior sob condições de iluminação inovadoras e poses não vistas.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.