PhysAvatar: Aprendiendo la Física de Avatares 3D Vestidos a partir de Observaciones Visuales

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

Autores: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

Resumen

Modelar y renderizar avatares fotorrealistas es de crucial importancia en muchas aplicaciones. Sin embargo, los métodos existentes que construyen un avatar 3D a partir de observaciones visuales tienen dificultades para reconstruir humanos vestidos. Presentamos PhysAvatar, un marco novedoso que combina el renderizado inverso con la física inversa para estimar automáticamente la forma y apariencia de un humano a partir de datos de video multi-vista, junto con los parámetros físicos de la tela de su ropa. Para este propósito, adoptamos una técnica de Gaussianos 4D alineados con mallas para el seguimiento espacio-temporal de mallas, así como un renderizador inverso basado en física para estimar las propiedades intrínsecas de los materiales. PhysAvatar integra un simulador físico para estimar los parámetros físicos de las prendas utilizando optimización basada en gradientes de manera fundamentada. Estas capacidades novedosas permiten a PhysAvatar crear renderizaciones de alta calidad de avatares vestidos con ropa holgada bajo movimientos y condiciones de iluminación no vistos en los datos de entrenamiento. Esto marca un avance significativo hacia el modelado de humanos digitales fotorrealistas utilizando renderizado inverso basado en física con la física en el ciclo. Nuestro sitio web del proyecto está en: https://qingqing-zhao.github.io/PhysAvatar.

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar