PhysAvatar: 視覚観察から着衣3Dアバターの物理特性を学習する

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

著者: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

要旨

フォトリアルなアバターのモデリングとレンダリングは、多くのアプリケーションにおいて極めて重要です。しかし、視覚的観察から3Dアバターを構築する既存の手法は、衣服を着た人間の再構築に苦戦しています。本論文では、逆レンダリングと逆物理を組み合わせた新しいフレームワーク「PhysAvatar」を紹介します。このフレームワークは、マルチビュービデオデータから人間の形状と外観、および衣服の物理パラメータを自動的に推定します。この目的のために、時空間メッシュトラッキングのためのメッシュアラインド4Dガウシアン技術と、固有の材質特性を推定する物理ベースの逆レンダラーを採用しています。PhysAvatarは、物理シミュレータを統合し、勾配ベースの最適化を用いて衣服の物理パラメータを原理的に推定します。これらの新機能により、PhysAvatarは、トレーニングデータでは見られない動きや照明条件下で、ゆったりとした衣服を着たアバターの高品質な新視点レンダリングを実現します。これは、物理ベースの逆レンダリングと物理シミュレーションを組み合わせたフォトリアルなデジタルヒューマンのモデリングに向けた重要な進展を示しています。プロジェクトのウェブサイトは以下をご覧ください： https://qingqing-zhao.github.io/PhysAvatar

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar