PhysAvatar: 시각적 관찰을 통해 옷을 입은 3D 아바타의 물리학 학습

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

저자: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

초록

포토리얼리스틱 아바타의 모델링과 렌더링은 많은 애플리케이션에서 매우 중요합니다. 그러나 시각적 관찰을 통해 3D 아바타를 구축하는 기존 방법들은 옷을 입은 인간을 재구성하는 데 어려움을 겪습니다. 우리는 PhysAvatar라는 새로운 프레임워크를 소개합니다. 이 프레임워크는 역렌더링과 역물리를 결합하여 다중 뷰 비디오 데이터로부터 인간의 형태와 외관을 자동으로 추정할 뿐만 아니라, 그들이 입은 옷의 물리적 파라미터도 추정합니다. 이를 위해, 우리는 시공간적 메쉬 추적을 위한 메쉬 정렬 4D 가우시안 기법과 내재적 물질 속성을 추정하기 위한 물리 기반 역렌더러를 채택했습니다. PhysAvatar는 물리 시뮬레이터를 통합하여 옷의 물리적 파라미터를 그래디언트 기반 최적화를 통해 원칙적으로 추정합니다. 이러한 새로운 기능 덕분에 PhysAvatar는 훈련 데이터에서 보지 못한 동작과 조명 조건 하에서 헐렁한 옷을 입은 아바타의 고품질 새로운 뷰 렌더링을 생성할 수 있습니다. 이는 물리 기반 역렌더링과 물리를 활용하여 포토리얼리스틱 디지털 인간을 모델링하는 데 있어 중요한 진전을 의미합니다. 우리의 프로젝트 웹사이트는 https://qingqing-zhao.github.io/PhysAvatar 에서 확인할 수 있습니다.

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar