Avatar Codec Gaussiano per Corpi Interi Ricreabili

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Autori: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Abstract

Proponiamo Avatar Gaussiani a Codec a Corpo Intero Relightable, un nuovo approccio per modellare avatar a corpo intero relightable con dettagli finemente dettagliati inclusi viso e mani. La sfida unica per illuminare gli avatar a corpo intero risiede nelle grandi deformazioni causate dall'articolazione del corpo e nell'impatto risultante sull'aspetto causato dal trasporto della luce. I cambiamenti nella posa del corpo possono cambiare drasticamente l'orientamento delle superfici corporee rispetto alle luci, risultando in cambiamenti nell'aspetto locale dovuti a cambiamenti nelle funzioni di trasporto locale della luce, così come cambiamenti non locali dovuti all'occlusione tra le parti del corpo. Per affrontare questo problema, decomponiamo il trasporto della luce in effetti locali e non locali. I cambiamenti nell'aspetto locale sono modellati utilizzando armoniche zonali apprendibili per il trasferimento di radianza diffusa. A differenza delle armoniche sferiche, le armoniche zonali sono altamente efficienti da ruotare sotto articolazione. Ciò ci consente di apprendere il trasferimento di radianza diffusa in un frame di coordinate locale, che disaccoppia il trasferimento di radianza locale dall'articolazione del corpo. Per tener conto dei cambiamenti nell'aspetto non locale, introduciamo una rete di ombre che predice le ombre date le irradiazioni in arrivo precalcolate su una maglia di base. Ciò facilita l'apprendimento dell'ombreggiatura non locale tra le parti del corpo. Infine, utilizziamo un approccio di shading differito per modellare il trasferimento di radianza speculare e catturare meglio riflessi e punti luminosi come bagliori negli occhi. Dimostriamo che il nostro approccio modella con successo sia il trasporto della luce locale che non locale richiesto per gli avatar a corpo intero relightable, con una capacità di generalizzazione superiore in condizioni di illuminazione nuove e pose non viste.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.