PhysAvatar: Изучение физики одетых 3D аватаров по визуальным наблюдениям

PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations

April 5, 2024

Авторы: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein

cs.AI

Аннотация

Моделирование и визуализация фотореалистичных аватаров имеют ключевое значение во многих приложениях. Однако существующие методы построения 3D аватара на основе визуальных наблюдений испытывают трудности при воссоздании облеченных людей. Мы представляем PhysAvatar, новую структуру, которая объединяет обратное визуализирование с обратной физикой для автоматической оценки формы и внешнего вида человека на основе видеоданных с нескольких ракурсов, а также физических параметров ткани их одежды. Для этой цели мы используем технику 4D Гаусса, выравненную по сетке, для пространственно-временного отслеживания сетки, а также физически обоснованный обратный визуализатор для оценки внутренних материальных свойств. PhysAvatar интегрирует физический симулятор для оценки физических параметров одежды с использованием оптимизации на основе градиентов в принципиальной манере. Эти новые возможности позволяют PhysAvatar создавать высококачественные визуализации аватаров в новых ракурсах, одетых в свободно облегающую одежду под движениями и условиями освещения, которые не были представлены в обучающих данных. Это представляет собой значительный прогресс в направлении моделирования фотореалистичных цифровых людей с использованием физически обоснованного обратного визуализирования с учетом физики. Наш веб-сайт проекта: https://qingqing-zhao.github.io/PhysAvatar

English

Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar