En3D: Een verbeterd generatief model voor het vormgeven van 3D-menselijke figuren vanuit 2D-synthetische data

En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data

January 2, 2024

Auteurs: Yifang Men, Biwen Lei, Yuan Yao, Miaomiao Cui, Zhouhui Lian, Xuansong Xie

cs.AI

Samenvatting

We presenteren En3D, een verbeterd generatief schema voor het creëren van hoogwaardige 3D-menselijke avatars. In tegenstelling tot eerdere werken die afhankelijk zijn van schaarse 3D-datasets of beperkte 2D-collecties met ongelijke kijkhoeken en onnauwkeurige pose-priors, streeft onze aanpak ernaar een zero-shot 3D-generatief schema te ontwikkelen dat in staat is visueel realistische, geometrisch nauwkeurige en inhoudelijk diverse 3D-mensen te produceren zonder te vertrouwen op bestaande 3D- of 2D-assets. Om deze uitdaging aan te pakken, introduceren we een zorgvuldig ontworpen workflow die nauwkeurige fysieke modellering implementeert om het verbeterde 3D-generatieve model te leren van synthetische 2D-data. Tijdens de inferentie integreren we optimalisatiemodules om de kloof tussen realistische verschijningen en grove 3D-vormen te overbruggen. Specifiek bestaat En3D uit drie modules: een 3D-generator die generaliseerbare 3D-mensen nauwkeurig modelleert met een realistische verschijning vanuit gesynthetiseerde, gebalanceerde, diverse en gestructureerde menselijke afbeeldingen; een geometrie-beeldhouwer die de vormkwaliteit verbetert met behulp van multi-view normaalbeperkingen voor gedetailleerde menselijke anatomie; en een textuurmodule die expliciete textuurkaarten ontwart met trouw en bewerkbaarheid, gebruikmakend van semantische UV-partitionering en een differentieerbare rasterizer. Experimentele resultaten tonen aan dat onze aanzienlijk beter presteert dan eerdere werken op het gebied van beeldkwaliteit, geometrische nauwkeurigheid en inhoudelijke diversiteit. We demonstreren ook de toepasbaarheid van onze gegenereerde avatars voor animatie en bewerking, evenals de schaalbaarheid van onze aanpak voor inhoudsstijlvrije aanpassing.

English

We present En3D, an enhanced generative scheme for sculpting high-quality 3D human avatars. Unlike previous works that rely on scarce 3D datasets or limited 2D collections with imbalanced viewing angles and imprecise pose priors, our approach aims to develop a zero-shot 3D generative scheme capable of producing visually realistic, geometrically accurate and content-wise diverse 3D humans without relying on pre-existing 3D or 2D assets. To address this challenge, we introduce a meticulously crafted workflow that implements accurate physical modeling to learn the enhanced 3D generative model from synthetic 2D data. During inference, we integrate optimization modules to bridge the gap between realistic appearances and coarse 3D shapes. Specifically, En3D comprises three modules: a 3D generator that accurately models generalizable 3D humans with realistic appearance from synthesized balanced, diverse, and structured human images; a geometry sculptor that enhances shape quality using multi-view normal constraints for intricate human anatomy; and a texturing module that disentangles explicit texture maps with fidelity and editability, leveraging semantical UV partitioning and a differentiable rasterizer. Experimental results show that our approach significantly outperforms prior works in terms of image quality, geometry accuracy and content diversity. We also showcase the applicability of our generated avatars for animation and editing, as well as the scalability of our approach for content-style free adaptation.