PhysAvatar: Aprendendo a Física de Avatares 3D Vestidos a partir de Observações Visuais

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

Autores: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

Resumo

A modelagem e renderização de avatares fotorrealistas é de extrema importância em muitas aplicações. No entanto, os métodos existentes que constroem um avatar 3D a partir de observações visuais enfrentam dificuldades para reconstruir humanos vestidos. Apresentamos o PhysAvatar, uma estrutura inovadora que combina renderização inversa com física inversa para estimar automaticamente a forma e a aparência de um humano a partir de dados de vídeo multiview, juntamente com os parâmetros físicos do tecido de suas roupas. Para isso, adotamos uma técnica de Gaussiana 4D alinhada à malha para rastreamento espaço-temporal da malha, bem como um renderizador inverso baseado em física para estimar as propriedades intrínsecas dos materiais. O PhysAvatar integra um simulador físico para estimar os parâmetros físicos das roupas usando otimização baseada em gradientes de maneira fundamentada. Essas novas capacidades permitem que o PhysAvatar crie renderizações de alta qualidade de novas perspectivas de avatares vestindo roupas folgadas sob movimentos e condições de iluminação não vistos nos dados de treinamento. Isso representa um avanço significativo em direção à modelagem de humanos digitais fotorrealistas usando renderização inversa baseada em física com a física em loop. O site do nosso projeto está em: https://qingqing-zhao.github.io/PhysAvatar

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar