Leren van Ontvlochten Avatars met Hybride 3D-representaties

Learning Disentangled Avatars with Hybrid 3D Representations

September 12, 2023

Auteurs: Yao Feng, Weiyang Liu, Timo Bolkart, Jinlong Yang, Marc Pollefeys, Michael J. Black

cs.AI

Samenvatting

Er zijn enorme inspanningen geleverd om animeerbare en fotorealistische menselijke avatars te leren. Hiertoe worden zowel expliciete als impliciete 3D-representaties uitgebreid bestudeerd voor een holistische modellering en vastlegging van de gehele mens (bijv. lichaam, kleding, gezicht en haar), maar geen van beide representaties is een optimale keuze wat betreft representatie-efficiëntie, aangezien verschillende delen van de menselijke avatar verschillende modelleringswensen hebben. Zo zijn meshes over het algemeen niet geschikt voor het modelleren van kleding en haar. Gemotiveerd door dit, presenteren we Disentangled Avatars~(DELTA), dat mensen modelleert met hybride expliciet-impliciete 3D-representaties. DELTA neemt een monochromatische RGB-video als invoer en produceert een menselijke avatar met gescheiden lagen voor lichaam en kleding/haar. Specifiek demonstreren we twee belangrijke toepassingen voor DELTA. Voor de eerste beschouwen we de ontvlechting van het menselijk lichaam en kleding, en voor de tweede ontvlechten we het gezicht en het haar. Hiertoe representeert DELTA het lichaam of gezicht met een expliciet mesh-gebaseerd parametrisch 3D-model en de kleding of het haar met een impliciet neurale stralingsveld. Om dit mogelijk te maken, ontwerpen we een end-to-end differentieerbare renderer die meshes integreert in volumetrische rendering, waardoor DELTA rechtstreeks kan leren van monochromatische video's zonder enige 3D-supervisie. Tot slot laten we zien hoe deze twee toepassingen eenvoudig gecombineerd kunnen worden om volledige lichaamsavatars te modelleren, zodat het haar, gezicht, lichaam en kleding volledig ontvlecht kunnen worden, maar toch gezamenlijk gerenderd. Zo'n ontvlechting maakt het mogelijk om haar en kleding over te dragen naar willekeurige lichaamsvormen. We valideren empirisch de effectiviteit van DELTA's ontvlechting door de veelbelovende prestaties te demonstreren op het gebied van ontvlechte reconstructie, virtuele kledingpassing en haarstijloverdracht. Om toekomstig onderzoek te faciliteren, geven we ook een open-source pipeline vrij voor de studie van hybride menselijke avatar-modellering.

English

Tremendous efforts have been made to learn animatable and photorealistic human avatars. Towards this end, both explicit and implicit 3D representations are heavily studied for a holistic modeling and capture of the whole human (e.g., body, clothing, face and hair), but neither representation is an optimal choice in terms of representation efficacy since different parts of the human avatar have different modeling desiderata. For example, meshes are generally not suitable for modeling clothing and hair. Motivated by this, we present Disentangled Avatars~(DELTA), which models humans with hybrid explicit-implicit 3D representations. DELTA takes a monocular RGB video as input, and produces a human avatar with separate body and clothing/hair layers. Specifically, we demonstrate two important applications for DELTA. For the first one, we consider the disentanglement of the human body and clothing and in the second, we disentangle the face and hair. To do so, DELTA represents the body or face with an explicit mesh-based parametric 3D model and the clothing or hair with an implicit neural radiance field. To make this possible, we design an end-to-end differentiable renderer that integrates meshes into volumetric rendering, enabling DELTA to learn directly from monocular videos without any 3D supervision. Finally, we show that how these two applications can be easily combined to model full-body avatars, such that the hair, face, body and clothing can be fully disentangled yet jointly rendered. Such a disentanglement enables hair and clothing transfer to arbitrary body shapes. We empirically validate the effectiveness of DELTA's disentanglement by demonstrating its promising performance on disentangled reconstruction, virtual clothing try-on and hairstyle transfer. To facilitate future research, we also release an open-sourced pipeline for the study of hybrid human avatar modeling.