SketchMetaFace : Une interface de dessin basée sur l'apprentissage pour la modélisation haute fidélité de visages de personnages 3D

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

Auteurs: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

Résumé

La modélisation d'avatars 3D bénéficie à divers scénarios d'application tels que la réalité augmentée/réalité virtuelle (AR/VR), les jeux vidéo et le cinéma. Les visages des personnages apportent une diversité et une vivacité significatives en tant que composant essentiel des avatars. Cependant, la création de modèles 3D de visages de personnages nécessite généralement une charge de travail importante avec des outils commerciaux, même pour des artistes expérimentés. Divers outils existants basés sur des croquis ne parviennent pas à permettre aux amateurs de modéliser des formes faciales variées et des détails géométriques riches. Dans cet article, nous présentons SketchMetaFace - un système de croquis destiné aux utilisateurs amateurs pour modéliser des visages 3D haute fidélité en quelques minutes. Nous avons soigneusement conçu à la fois l'interface utilisateur et l'algorithme sous-jacent. Premièrement, des traits sensibles à la courbure sont adoptés pour mieux soutenir la contrôlabilité de la sculpture des détails faciaux. Deuxièmement, en considérant le problème clé de la cartographie d'un croquis 2D vers un modèle 3D, nous développons une nouvelle méthode basée sur l'apprentissage appelée "Modélisation de Maillage Guidée par Implicite et Profondeur" (IDGMM). Elle fusionne les avantages des représentations de maillage, implicite et de profondeur pour obtenir des résultats de haute qualité avec une grande efficacité. De plus, pour améliorer l'utilisabilité, nous proposons une conception d'interface de croquis 2D allant du grossier au fin et un outil de suggestion de traits basé sur les données. Des études utilisateurs démontrent la supériorité de notre système par rapport aux outils de modélisation existants en termes de facilité d'utilisation et de qualité visuelle des résultats. Les analyses expérimentales montrent également que l'IDGMM atteint un meilleur compromis entre précision et efficacité. SketchMetaFace est disponible à l'adresse suivante : https://zhongjinluo.github.io/SketchMetaFace/.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.