Aprendizaje de Avatares Desenredados con Representaciones Híbridas en 3D

Learning Disentangled Avatars with Hybrid 3D Representations

September 12, 2023

Autores: Yao Feng, Weiyang Liu, Timo Bolkart, Jinlong Yang, Marc Pollefeys, Michael J. Black

cs.AI

Resumen

Se han realizado enormes esfuerzos para aprender avatares humanos animables y fotorrealistas. Con este fin, tanto las representaciones 3D explícitas como las implícitas han sido ampliamente estudiadas para un modelado y captura holísticos del ser humano completo (por ejemplo, cuerpo, ropa, rostro y cabello), pero ninguna de estas representaciones es una elección óptima en términos de eficacia de representación, ya que diferentes partes del avatar humano tienen diferentes requisitos de modelado. Por ejemplo, las mallas generalmente no son adecuadas para modelar ropa y cabello. Motivados por esto, presentamos Disentangled Avatars (DELTA), que modela humanos con representaciones 3D híbridas explícitas-implícitas. DELTA toma como entrada un video RGB monocromático y produce un avatar humano con capas separadas para el cuerpo y la ropa/cabello. Específicamente, demostramos dos aplicaciones importantes para DELTA. En la primera, consideramos la separación del cuerpo humano y la ropa, y en la segunda, separamos el rostro y el cabello. Para lograrlo, DELTA representa el cuerpo o el rostro con un modelo paramétrico 3D basado en mallas explícitas, y la ropa o el cabello con un campo de radiancia neural implícito. Para hacer esto posible, diseñamos un renderizador diferenciable de extremo a extremo que integra mallas en el renderizado volumétrico, permitiendo que DELTA aprenda directamente de videos monocromáticos sin ninguna supervisión 3D. Finalmente, mostramos cómo estas dos aplicaciones pueden combinarse fácilmente para modelar avatares de cuerpo completo, de modo que el cabello, el rostro, el cuerpo y la ropa puedan estar completamente separados pero renderizados conjuntamente. Esta separación permite la transferencia de cabello y ropa a formas corporales arbitrarias. Validamos empíricamente la efectividad de la separación de DELTA demostrando su prometedor rendimiento en la reconstrucción separada, la prueba virtual de ropa y la transferencia de peinados. Para facilitar futuras investigaciones, también publicamos una pipeline de código abierto para el estudio del modelado híbrido de avatares humanos.

English

Tremendous efforts have been made to learn animatable and photorealistic human avatars. Towards this end, both explicit and implicit 3D representations are heavily studied for a holistic modeling and capture of the whole human (e.g., body, clothing, face and hair), but neither representation is an optimal choice in terms of representation efficacy since different parts of the human avatar have different modeling desiderata. For example, meshes are generally not suitable for modeling clothing and hair. Motivated by this, we present Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit 3D representations. DELTA takes a monocular RGB video as input, and produces a human avatar with separate body and clothing/hair layers. Specifically, we demonstrate two important applications for DELTA. For the first one, we consider the disentanglement of the human body and clothing and in the second, we disentangle the face and hair. To do so, DELTA represents the body or face with an explicit mesh-based parametric 3D model and the clothing or hair with an implicit neural radiance field. To make this possible, we design an end-to-end differentiable renderer that integrates meshes into volumetric rendering, enabling DELTA to learn directly from monocular videos without any 3D supervision. Finally, we show that how these two applications can be easily combined to model full-body avatars, such that the hair, face, body and clothing can be fully disentangled yet jointly rendered. Such a disentanglement enables hair and clothing transfer to arbitrary body shapes. We empirically validate the effectiveness of DELTA's disentanglement by demonstrating its promising performance on disentangled reconstruction, virtual clothing try-on and hairstyle transfer. To facilitate future research, we also release an open-sourced pipeline for the study of hybrid human avatar modeling.