Lernen von entwirrten Avataren mit hybriden 3D-Darstellungen

Learning Disentangled Avatars with Hybrid 3D Representations

September 12, 2023

Autoren: Yao Feng, Weiyang Liu, Timo Bolkart, Jinlong Yang, Marc Pollefeys, Michael J. Black

cs.AI

Zusammenfassung

Erhebliche Anstrengungen wurden unternommen, um animierbare und fotorealistische menschliche Avatare zu erlernen. Zu diesem Zweck werden sowohl explizite als auch implizite 3D-Repräsentationen intensiv erforscht, um eine ganzheitliche Modellierung und Erfassung des gesamten Menschen (z. B. Körper, Kleidung, Gesicht und Haare) zu ermöglichen. Allerdings ist keine der beiden Repräsentationen in Bezug auf die Darstellungseffizienz die optimale Wahl, da verschiedene Teile des menschlichen Avatars unterschiedliche Modellierungsanforderungen haben. Beispielsweise sind Meshes im Allgemeinen nicht geeignet, um Kleidung und Haare zu modellieren. Aus diesem Grund präsentieren wir Disentangled Avatars (DELTA), das Menschen mit hybriden explizit-impliziten 3D-Repräsentationen modelliert. DELTA nimmt ein monokulares RGB-Video als Eingabe und erzeugt einen menschlichen Avatar mit separaten Schichten für Körper und Kleidung/Haare. Konkret demonstrieren wir zwei wichtige Anwendungen für DELTA. Bei der ersten betrachten wir die Entflechtung von menschlichem Körper und Kleidung, und bei der zweiten entflechten wir Gesicht und Haare. Dazu repräsentiert DELTA den Körper oder das Gesicht mit einem expliziten mesh-basierten parametrischen 3D-Modell und die Kleidung oder die Haare mit einem impliziten neuronalen Strahlungsfeld. Um dies zu ermöglichen, entwerfen wir einen end-to-end differenzierbaren Renderer, der Meshes in das volumetrische Rendering integriert, wodurch DELTA direkt aus monokularen Videos ohne jegliche 3D-Aufsicht lernen kann. Schließlich zeigen wir, wie diese beiden Anwendungen leicht kombiniert werden können, um Ganzkörper-Avatare zu modellieren, sodass Haare, Gesicht, Körper und Kleidung vollständig entflochten, aber gemeinsam gerendert werden können. Eine solche Entflechtung ermöglicht den Transfer von Haaren und Kleidung auf beliebige Körperformen. Wir validieren empirisch die Wirksamkeit der Entflechtung von DELTA, indem wir seine vielversprechende Leistung bei der entflochtenen Rekonstruktion, dem virtuellen Anprobieren von Kleidung und dem Haartransfer demonstrieren. Um zukünftige Forschung zu erleichtern, veröffentlichen wir auch eine Open-Source-Pipeline für die Erforschung der hybriden Modellierung menschlicher Avatare.

English

Tremendous efforts have been made to learn animatable and photorealistic human avatars. Towards this end, both explicit and implicit 3D representations are heavily studied for a holistic modeling and capture of the whole human (e.g., body, clothing, face and hair), but neither representation is an optimal choice in terms of representation efficacy since different parts of the human avatar have different modeling desiderata. For example, meshes are generally not suitable for modeling clothing and hair. Motivated by this, we present Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit 3D representations. DELTA takes a monocular RGB video as input, and produces a human avatar with separate body and clothing/hair layers. Specifically, we demonstrate two important applications for DELTA. For the first one, we consider the disentanglement of the human body and clothing and in the second, we disentangle the face and hair. To do so, DELTA represents the body or face with an explicit mesh-based parametric 3D model and the clothing or hair with an implicit neural radiance field. To make this possible, we design an end-to-end differentiable renderer that integrates meshes into volumetric rendering, enabling DELTA to learn directly from monocular videos without any 3D supervision. Finally, we show that how these two applications can be easily combined to model full-body avatars, such that the hair, face, body and clothing can be fully disentangled yet jointly rendered. Such a disentanglement enables hair and clothing transfer to arbitrary body shapes. We empirically validate the effectiveness of DELTA's disentanglement by demonstrating its promising performance on disentangled reconstruction, virtual clothing try-on and hairstyle transfer. To facilitate future research, we also release an open-sourced pipeline for the study of hybrid human avatar modeling.