PhysAvatar: Apprendimento della Fisica degli Avatar 3D Vestiti da Osservazioni Visive
PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations
April 5, 2024
Autori: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein
cs.AI
Abstract
La modellazione e il rendering di avatar fotorealistici riveste un'importanza cruciale in molte applicazioni. Tuttavia, i metodi esistenti che costruiscono un avatar 3D a partire da osservazioni visive faticano a ricostruire esseri umani vestiti. Introduciamo PhysAvatar, un framework innovativo che combina l'inverse rendering con l'inverse physics per stimare automaticamente la forma e l'aspetto di un essere umano a partire da dati video multi-vista, insieme ai parametri fisici del tessuto dei loro abiti. A tal fine, adottiamo una tecnica di mesh-aligned 4D Gaussian per il tracciamento spazio-temporale della mesh, nonché un renderer inverso basato sulla fisica per stimare le proprietà intrinseche dei materiali. PhysAvatar integra un simulatore fisico per stimare i parametri fisici degli indumenti utilizzando un'ottimizzazione basata su gradienti in modo rigoroso. Queste nuove capacità consentono a PhysAvatar di creare rendering di alta qualità di avatar vestiti con abiti ampi in condizioni di movimento e illuminazione non presenti nei dati di addestramento. Questo rappresenta un significativo passo avanti verso la modellazione di esseri umani digitali fotorealistici utilizzando l'inverse rendering basato sulla fisica con la fisica in loop. Il sito web del progetto è disponibile all'indirizzo: https://qingqing-zhao.github.io/PhysAvatar
English
Modeling and rendering photorealistic avatars is of crucial importance in
many applications. Existing methods that build a 3D avatar from visual
observations, however, struggle to reconstruct clothed humans. We introduce
PhysAvatar, a novel framework that combines inverse rendering with inverse
physics to automatically estimate the shape and appearance of a human from
multi-view video data along with the physical parameters of the fabric of their
clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for
spatio-temporal mesh tracking as well as a physically based inverse renderer to
estimate the intrinsic material properties. PhysAvatar integrates a physics
simulator to estimate the physical parameters of the garments using
gradient-based optimization in a principled manner. These novel capabilities
enable PhysAvatar to create high-quality novel-view renderings of avatars
dressed in loose-fitting clothes under motions and lighting conditions not seen
in the training data. This marks a significant advancement towards modeling
photorealistic digital humans using physically based inverse rendering with
physics in the loop. Our project website is at:
https://qingqing-zhao.github.io/PhysAvatar