Génération efficace d'humains articulés en 3D avec des volumes de surface stratifiés

Efficient 3D Articulated Human Generation with Layered Surface Volumes

July 11, 2023

Auteurs: Yinghao Xu, Wang Yifan, Alexander W. Bergman, Menglei Chai, Bolei Zhou, Gordon Wetzstein

cs.AI

Résumé

L'accès à des ressources numériques de haute qualité et diversifiées pour les humains articulés en 3D est crucial dans diverses applications, allant de la réalité virtuelle aux plateformes sociales. Les approches génératives, telles que les réseaux antagonistes génératifs (GANs) en 3D, remplacent rapidement les outils de création de contenu manuels fastidieux. Cependant, les frameworks existants de GANs 3D reposent généralement sur des représentations de scènes qui exploitent soit des maillages modèles, rapides mais de qualité limitée, soit des volumes, offrant une grande capacité mais lents à rendre, limitant ainsi la fidélité 3D dans les configurations de GANs. Dans ce travail, nous introduisons les volumes de surface superposés (LSVs) comme nouvelle représentation d'objets 3D pour les humains numériques articulés. Les LSVs représentent un corps humain en utilisant plusieurs couches de maillages texturés autour d'un modèle conventionnel. Ces couches sont rendues en utilisant la composition alpha avec une rasterisation différentiable rapide, et elles peuvent être interprétées comme une représentation volumétrique qui alloue sa capacité à une variété d'épaisseur finie autour du modèle. Contrairement aux modèles monocouches conventionnels qui peinent à représenter des détails fins hors surface comme les cheveux ou les accessoires, nos volumes de surface capturent naturellement de tels détails. Les LSVs peuvent être articulés et montrent une efficacité exceptionnelle dans les configurations de GANs, où un générateur 2D apprend à synthétiser les textures RGBA pour les couches individuelles. Entraîné sur des ensembles de données d'images 2D non structurées et à vue unique, notre LSV-GAN génère des humains numériques articulés en 3D de haute qualité et cohérents en vue, sans nécessiter de réseaux de suréchantillonnage 2D incohérents en vue.

English

Access to high-quality and diverse 3D articulated digital human assets is crucial in various applications, ranging from virtual reality to social platforms. Generative approaches, such as 3D generative adversarial networks (GANs), are rapidly replacing laborious manual content creation tools. However, existing 3D GAN frameworks typically rely on scene representations that leverage either template meshes, which are fast but offer limited quality, or volumes, which offer high capacity but are slow to render, thereby limiting the 3D fidelity in GAN settings. In this work, we introduce layered surface volumes (LSVs) as a new 3D object representation for articulated digital humans. LSVs represent a human body using multiple textured mesh layers around a conventional template. These layers are rendered using alpha compositing with fast differentiable rasterization, and they can be interpreted as a volumetric representation that allocates its capacity to a manifold of finite thickness around the template. Unlike conventional single-layer templates that struggle with representing fine off-surface details like hair or accessories, our surface volumes naturally capture such details. LSVs can be articulated, and they exhibit exceptional efficiency in GAN settings, where a 2D generator learns to synthesize the RGBA textures for the individual layers. Trained on unstructured, single-view 2D image datasets, our LSV-GAN generates high-quality and view-consistent 3D articulated digital humans without the need for view-inconsistent 2D upsampling networks.