Аватары с кодеком Гаусса для полноценного тела с возможностью изменения освещения

Relightable Full-Body Gaussian Codec Avatars

January 24, 2025

Авторы: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito

cs.AI

Аннотация

Мы предлагаем метод моделирования переосвещаемых трехмерных анимированных аватаров с использованием Гауссовых кодеков для полного тела, включающих детализацию лица и рук. Уникальная сложность переосвещения трехмерных аватаров заключается в больших деформациях, вызванных артикуляцией тела, и их влиянии на внешний вид из-за переноса света. Изменения в позе тела могут радикально изменить ориентацию поверхностей тела относительно источников света, что приводит как к локальным изменениям внешнего вида из-за изменений в локальных функциях переноса света, так и к нелокальным изменениям из-за заслонения между частями тела. Для решения этой проблемы мы декомпозируем перенос света на локальные и нелокальные эффекты. Локальные изменения внешнего вида моделируются с использованием обучаемых зональных гармоник для диффузного переноса излучения. В отличие от сферических гармоник, зональные гармоники эффективно поворачиваются при артикуляции. Это позволяет нам обучать диффузный перенос излучения в локальной координатной системе, что разделяет локальный перенос излучения от артикуляции тела. Для учета нелокальных изменений внешнего вида мы вводим сеть теней, которая предсказывает тени на основе предварительно вычисленной падающей инсоляции на базовой сетке. Это облегчает обучение нелокального затенения между частями тела. Наконец, мы используем подход отложенного затенения для моделирования спекулярного переноса излучения и более точного захвата отражений и мерцаний, таких как блики в глазах. Мы демонстрируем, что наш метод успешно моделирует как локальный, так и нелокальный перенос света, необходимый для переосвещаемых трехмерных аватаров с полным телом, обладая превосходной обобщающей способностью при новых условиях освещения и неизвестных позах.

English

We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.