PhysAvatar: Das Erlernen der Physik von bekleideten 3D-Avataren aus visuellen Beobachtungen

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

Autoren: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

Zusammenfassung

Die Modellierung und Darstellung fotorealistischer Avatare ist in vielen Anwendungen von entscheidender Bedeutung. Bestehende Methoden, die einen 3D-Avatar aus visuellen Beobachtungen erstellen, haben jedoch Schwierigkeiten, bekleidete Menschen zu rekonstruieren. Wir stellen PhysAvatar vor, ein neuartiges Framework, das inverse Rendering mit inverser Physik kombiniert, um automatisch die Form und das Erscheinungsbild eines Menschen aus Multi-View-Videodaten sowie die physikalischen Parameter des Stoffs ihrer Kleidung zu schätzen. Zu diesem Zweck verwenden wir eine mesh-ausgerichtete 4D-Gauß-Technik für das raumzeitliche Mesh-Tracking sowie einen physikalisch basierten inversen Renderer zur Schätzung der intrinsischen Materialeigenschaften. PhysAvatar integriert einen Physiksimulator, um die physikalischen Parameter der Kleidungsstücke auf eine prinzipiengeleitete Weise mithilfe einer gradientenbasierten Optimierung zu schätzen. Diese neuartigen Fähigkeiten ermöglichen es PhysAvatar, hochwertige Renderings von Avataren in locker sitzender Kleidung unter Bewegungen und Beleuchtungsbedingungen zu erstellen, die nicht in den Trainingsdaten enthalten sind. Dies stellt einen bedeutenden Fortschritt bei der Modellierung fotorealistischer digitaler Menschen unter Verwendung von physikalisch basiertem inversen Rendering mit Physik im Regelkreis dar. Unsere Projektwebsite finden Sie unter: https://qingqing-zhao.github.io/PhysAvatar

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar