Обучение разделенных аватаров с гибридными 3D-представлениями

Аннотация

Значительные усилия были направлены на создание анимируемых и фотореалистичных аватаров человека. В этом направлении активно изучаются как явные, так и неявные 3D-представления для комплексного моделирования и захвата всего тела человека (например, тела, одежды, лица и волос), однако ни одно из этих представлений не является оптимальным с точки зрения эффективности, поскольку разные части аватара требуют различных подходов к моделированию. Например, меши, как правило, не подходят для моделирования одежды и волос. Вдохновленные этим, мы представляем Disentangled Avatars (DELTA), которые моделируют человека с использованием гибридных явно-неявных 3D-представлений. DELTA принимает на вход монохромное RGB-видео и создает аватар человека с отдельными слоями для тела и одежды/волос. В частности, мы демонстрируем два важных применения DELTA. В первом случае мы рассматриваем разделение тела и одежды, а во втором — разделение лица и волос. Для этого DELTA представляет тело или лицо с помощью явной параметрической 3D-модели на основе мешей, а одежду или волосы — с помощью неявного нейронного поля излучения. Чтобы сделать это возможным, мы разработали дифференцируемый рендерер, который интегрирует меши в объемный рендеринг, что позволяет DELTA обучаться непосредственно на монохромных видео без какого-либо 3D-надзора. Наконец, мы показываем, как эти два применения могут быть легко объединены для моделирования полноразмерных аватаров, где волосы, лицо, тело и одежда могут быть полностью разделены, но совместно отрендерены. Такое разделение позволяет переносить прически и одежду на произвольные формы тела. Мы эмпирически подтверждаем эффективность разделения в DELTA, демонстрируя его впечатляющие результаты в задачах разделенной реконструкции, виртуальной примерки одежды и переноса причесок. Для содействия будущим исследованиям мы также выпускаем открытый конвейер для изучения гибридного моделирования аватаров человека.

English

Tremendous efforts have been made to learn animatable and photorealistic human avatars. Towards this end, both explicit and implicit 3D representations are heavily studied for a holistic modeling and capture of the whole human (e.g., body, clothing, face and hair), but neither representation is an optimal choice in terms of representation efficacy since different parts of the human avatar have different modeling desiderata. For example, meshes are generally not suitable for modeling clothing and hair. Motivated by this, we present Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit 3D representations. DELTA takes a monocular RGB video as input, and produces a human avatar with separate body and clothing/hair layers. Specifically, we demonstrate two important applications for DELTA. For the first one, we consider the disentanglement of the human body and clothing and in the second, we disentangle the face and hair. To do so, DELTA represents the body or face with an explicit mesh-based parametric 3D model and the clothing or hair with an implicit neural radiance field. To make this possible, we design an end-to-end differentiable renderer that integrates meshes into volumetric rendering, enabling DELTA to learn directly from monocular videos without any 3D supervision. Finally, we show that how these two applications can be easily combined to model full-body avatars, such that the hair, face, body and clothing can be fully disentangled yet jointly rendered. Such a disentanglement enables hair and clothing transfer to arbitrary body shapes. We empirically validate the effectiveness of DELTA's disentanglement by demonstrating its promising performance on disentangled reconstruction, virtual clothing try-on and hairstyle transfer. To facilitate future research, we also release an open-sourced pipeline for the study of hybrid human avatar modeling.

Обучение разделенных аватаров с гибридными 3D-представлениями

Learning Disentangled Avatars with Hybrid 3D Representations

Аннотация

Support