En3D : Un modèle génératif amélioré pour sculpter des humains en 3D à partir de données synthétiques 2D

En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data

January 2, 2024

Auteurs: Yifang Men, Biwen Lei, Yuan Yao, Miaomiao Cui, Zhouhui Lian, Xuansong Xie

cs.AI

Résumé

Nous présentons En3D, un schéma génératif amélioré pour sculpter des avatars humains 3D de haute qualité. Contrairement aux travaux précédents qui s'appuient sur des jeux de données 3D rares ou des collections 2D limitées avec des angles de vue déséquilibrés et des préalables de pose imprécis, notre approche vise à développer un schéma génératif 3D zero-shot capable de produire des humains 3D visuellement réalistes, géométriquement précis et diversifiés en termes de contenu, sans recourir à des ressources 3D ou 2D préexistantes. Pour relever ce défi, nous introduisons un workflow soigneusement conçu qui met en œuvre une modélisation physique précise pour apprendre le modèle génératif 3D amélioré à partir de données 2D synthétiques. Lors de l'inférence, nous intégrons des modules d'optimisation pour combler l'écart entre les apparences réalistes et les formes 3D grossières. Plus précisément, En3D comprend trois modules : un générateur 3D qui modélise avec précision des humains 3D généralisables avec une apparence réaliste à partir d'images humaines synthétisées, équilibrées, diversifiées et structurées ; un sculpteur de géométrie qui améliore la qualité des formes en utilisant des contraintes normales multi-vues pour une anatomie humaine complexe ; et un module de texturage qui dissocie des cartes de textures explicites avec fidélité et éditabilité, en exploitant un partitionnement UV sémantique et un rasteriseur différentiable. Les résultats expérimentaux montrent que notre approche surpasse significativement les travaux antérieurs en termes de qualité d'image, de précision géométrique et de diversité de contenu. Nous démontrons également l'applicabilité de nos avatars générés pour l'animation et l'édition, ainsi que l'évolutivité de notre approche pour une adaptation libre de contenu et de style.

English

We present En3D, an enhanced generative scheme for sculpting high-quality 3D human avatars. Unlike previous works that rely on scarce 3D datasets or limited 2D collections with imbalanced viewing angles and imprecise pose priors, our approach aims to develop a zero-shot 3D generative scheme capable of producing visually realistic, geometrically accurate and content-wise diverse 3D humans without relying on pre-existing 3D or 2D assets. To address this challenge, we introduce a meticulously crafted workflow that implements accurate physical modeling to learn the enhanced 3D generative model from synthetic 2D data. During inference, we integrate optimization modules to bridge the gap between realistic appearances and coarse 3D shapes. Specifically, En3D comprises three modules: a 3D generator that accurately models generalizable 3D humans with realistic appearance from synthesized balanced, diverse, and structured human images; a geometry sculptor that enhances shape quality using multi-view normal constraints for intricate human anatomy; and a texturing module that disentangles explicit texture maps with fidelity and editability, leveraging semantical UV partitioning and a differentiable rasterizer. Experimental results show that our approach significantly outperforms prior works in terms of image quality, geometry accuracy and content diversity. We also showcase the applicability of our generated avatars for animation and editing, as well as the scalability of our approach for content-style free adaptation.