SketchMetaFace: Een op leren gebaseerde schetsinterface voor hoogwaardige 3D-karaktergezichtsmodellering

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

Auteurs: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

Samenvatting

Het modelleren van 3D-avatars biedt voordelen voor diverse toepassingsscenario's zoals AR/VR, gaming en filmproductie. Gezichten van personages dragen aanzienlijk bij aan diversiteit en levendigheid als een essentieel onderdeel van avatars. Het bouwen van 3D-gezichtsmodellen vereist echter meestal een zware werkdruk met commerciële tools, zelfs voor ervaren artiesten. Verschillende bestaande schetsgebaseerde tools slagen er niet in amateurs te ondersteunen bij het modelleren van diverse gezichtsvormen en rijke geometrische details. In dit artikel presenteren we SketchMetaFace - een schetssysteem gericht op amateurgebruikers om hoogwaardige 3D-gezichten in enkele minuten te modelleren. We hebben zowel de gebruikersinterface als het onderliggende algoritme zorgvuldig ontworpen. Ten eerste worden krommingbewuste lijnen gebruikt om de bestuurbaarheid van het uitsnijden van gezichtsdetails beter te ondersteunen. Ten tweede, rekening houdend met het kernprobleem van het mappen van een 2D-schetskaart naar een 3D-model, ontwikkelen we een nieuwe op leren gebaseerde methode genaamd "Implicit and Depth Guided Mesh Modeling" (IDGMM). Deze methode combineert de voordelen van mesh-, impliciete en diepteweergaven om hoogwaardige resultaten met hoge efficiëntie te bereiken. Daarnaast presenteren we, om de bruikbaarheid verder te ondersteunen, een grof-naar-fijn 2D-schetsinterface-ontwerp en een datagestuurd lijnsuggestietool. Gebruikersstudies tonen de superioriteit van ons systeem aan ten opzichte van bestaande modelleringsinstrumenten wat betreft gebruiksgemak en visuele kwaliteit van de resultaten. Experimentele analyses tonen ook aan dat IDGMM een betere balans bereikt tussen nauwkeurigheid en efficiëntie. SketchMetaFace is beschikbaar op https://zhongjinluo.github.io/SketchMetaFace/.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.