PhysAvatar : Apprentissage de la physique des avatars 3D habillés à partir d'observations visuelles

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

Auteurs: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

Résumé

La modélisation et le rendu d'avatars photoréalistes revêtent une importance cruciale dans de nombreuses applications. Cependant, les méthodes existantes qui construisent un avatar 3D à partir d'observations visuelles peinent à reconstruire des humains vêtus. Nous présentons PhysAvatar, un nouveau cadre qui combine l'inversion de rendu avec l'inversion de la physique pour estimer automatiquement la forme et l'apparence d'un humain à partir de données vidéo multi-vues, ainsi que les paramètres physiques du tissu de leurs vêtements. À cette fin, nous adoptons une technique de Gaussienne 4D alignée sur un maillage pour le suivi spatio-temporel du maillage, ainsi qu'un inverseur de rendu basé sur la physique pour estimer les propriétés matérielles intrinsèques. PhysAvatar intègre un simulateur physique pour estimer les paramètres physiques des vêtements en utilisant une optimisation basée sur le gradient de manière rigoureuse. Ces nouvelles capacités permettent à PhysAvatar de créer des rendus de haute qualité de nouvelles vues d'avatars vêtus de vêtements amples sous des mouvements et des conditions d'éclairage non vus dans les données d'entraînement. Cela marque une avancée significative vers la modélisation d'humains numériques photoréalistes en utilisant l'inversion de rendu basée sur la physique avec une boucle de simulation physique. Notre site web de projet est disponible à l'adresse suivante : https://qingqing-zhao.github.io/PhysAvatar

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar