Aprendizado de Avatares Desembaraçados com Representações Híbridas 3D

Learning Disentangled Avatars with Hybrid 3D Representations

September 12, 2023

Autores: Yao Feng, Weiyang Liu, Timo Bolkart, Jinlong Yang, Marc Pollefeys, Michael J. Black

cs.AI

Resumo

Grandes esforços têm sido feitos para aprender avatares humanos animáveis e fotorrealistas. Para esse fim, tanto representações 3D explícitas quanto implícitas são amplamente estudadas para uma modelagem e captura holística do ser humano completo (por exemplo, corpo, roupas, rosto e cabelo), mas nenhuma dessas representações é uma escolha ideal em termos de eficácia de representação, já que diferentes partes do avatar humano têm diferentes requisitos de modelagem. Por exemplo, malhas geralmente não são adequadas para modelar roupas e cabelos. Motivados por isso, apresentamos os Avatares Desacoplados (DELTA), que modelam humanos com representações 3D híbridas explícitas-implícitas. O DELTA recebe um vídeo RGB monocromático como entrada e produz um avatar humano com camadas separadas para o corpo e para as roupas/cabelos. Especificamente, demonstramos duas aplicações importantes para o DELTA. Na primeira, consideramos o desacoplamento do corpo humano e das roupas, e na segunda, desacoplamos o rosto e o cabelo. Para isso, o DELTA representa o corpo ou o rosto com um modelo paramétrico 3D explícito baseado em malha e as roupas ou cabelos com um campo de radiação neural implícito. Para tornar isso possível, projetamos um renderizador diferenciável de ponta a ponta que integra malhas à renderização volumétrica, permitindo que o DELTA aprenda diretamente de vídeos monocromáticos sem qualquer supervisão 3D. Por fim, mostramos como essas duas aplicações podem ser facilmente combinadas para modelar avatares de corpo inteiro, de modo que o cabelo, o rosto, o corpo e as roupas possam ser completamente desacoplados, mas renderizados em conjunto. Esse desacoplamento permite a transferência de cabelos e roupas para formas corporais arbitrárias. Validamos empiricamente a eficácia do desacoplamento do DELTA demonstrando seu desempenho promissor em reconstrução desacoplada, experimentação virtual de roupas e transferência de penteados. Para facilitar pesquisas futuras, também disponibilizamos um pipeline de código aberto para o estudo de modelagem híbrida de avatares humanos.

English

Tremendous efforts have been made to learn animatable and photorealistic human avatars. Towards this end, both explicit and implicit 3D representations are heavily studied for a holistic modeling and capture of the whole human (e.g., body, clothing, face and hair), but neither representation is an optimal choice in terms of representation efficacy since different parts of the human avatar have different modeling desiderata. For example, meshes are generally not suitable for modeling clothing and hair. Motivated by this, we present Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit 3D representations. DELTA takes a monocular RGB video as input, and produces a human avatar with separate body and clothing/hair layers. Specifically, we demonstrate two important applications for DELTA. For the first one, we consider the disentanglement of the human body and clothing and in the second, we disentangle the face and hair. To do so, DELTA represents the body or face with an explicit mesh-based parametric 3D model and the clothing or hair with an implicit neural radiance field. To make this possible, we design an end-to-end differentiable renderer that integrates meshes into volumetric rendering, enabling DELTA to learn directly from monocular videos without any 3D supervision. Finally, we show that how these two applications can be easily combined to model full-body avatars, such that the hair, face, body and clothing can be fully disentangled yet jointly rendered. Such a disentanglement enables hair and clothing transfer to arbitrary body shapes. We empirically validate the effectiveness of DELTA's disentanglement by demonstrating its promising performance on disentangled reconstruction, virtual clothing try-on and hairstyle transfer. To facilitate future research, we also release an open-sourced pipeline for the study of hybrid human avatar modeling.