PhysAvatar: Het leren van de fysica van geklede 3D-avatars uit visuele waarnemingen

Samenvatting

Het modelleren en renderen van fotorealistische avatars is van cruciaal belang in veel toepassingen. Bestaande methoden die een 3D-avatar bouwen op basis van visuele waarnemingen, hebben echter moeite met het reconstrueren van geklede mensen. Wij introduceren PhysAvatar, een nieuw framework dat inverse rendering combineert met inverse fysica om automatisch de vorm en het uiterlijk van een mens te schatten op basis van multi-view videogegevens, samen met de fysieke parameters van het materiaal van hun kleding. Hiervoor gebruiken we een mesh-uitgelijnde 4D Gaussische techniek voor spatio-temporele mesh-tracking, evenals een fysiek gebaseerde inverse renderer om de intrinsieke materiaaleigenschappen te schatten. PhysAvatar integreert een fysica-simulator om de fysieke parameters van de kleding te schatten met behulp van gradient-gebaseerde optimalisatie op een principiële manier. Deze nieuwe mogelijkheden stellen PhysAvatar in staat om hoogwaardige nieuwe-weergave renderings te maken van avatars die loszittende kleding dragen, onder bewegingen en lichtomstandigheden die niet in de trainingsdata zijn gezien. Dit markeert een significante vooruitgang in het modelleren van fotorealistische digitale mensen met behulp van fysiek gebaseerde inverse rendering met fysica in de lus. Onze projectwebsite is te vinden op: https://qingqing-zhao.github.io/PhysAvatar

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar

PhysAvatar: Het leren van de fysica van geklede 3D-avatars uit visuele waarnemingen

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

Samenvatting

Support