SketchMetaFace: Eine lernbasierte Zeichenoberfläche für die hochdetaillierte 3D-Gesichtsmodellierung von Charakteren

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

Autoren: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

Zusammenfassung

Die Modellierung von 3D-Avataren bietet Vorteile für verschiedene Anwendungsszenarien wie AR/VR, Gaming und Filmproduktion. Charaktergesichter tragen als wesentlicher Bestandteil von Avataren erheblich zur Vielfalt und Lebendigkeit bei. Allerdings erfordert die Erstellung von 3D-Gesichtsmodellen für Charaktere in der Regel einen hohen Arbeitsaufwand mit kommerziellen Tools, selbst für erfahrene Künstler. Verschiedene bestehende skizzenbasierte Tools unterstützen Amateure nicht ausreichend bei der Modellierung unterschiedlicher Gesichtsformen und reichhaltiger geometrischer Details. In diesem Artikel präsentieren wir SketchMetaFace – ein Skizzensystem, das sich an Amateure richtet, um hochwertige 3D-Gesichter in Minuten zu modellieren. Wir haben sowohl die Benutzeroberfläche als auch den zugrunde liegenden Algorithmus sorgfältig gestaltet. Erstens werden krümmungsbewusste Striche verwendet, um die Kontrollierbarkeit beim Herausarbeiten von Gesichtsdetails besser zu unterstützen. Zweitens entwickeln wir, unter Berücksichtigung des Schlüsselproblems der Abbildung einer 2D-Skizze auf ein 3D-Modell, eine neuartige lernbasierte Methode namens „Implicit and Depth Guided Mesh Modeling“ (IDGMM). Diese vereint die Vorteile von Mesh-, Implicit- und Tiefendarstellungen, um hochwertige Ergebnisse mit hoher Effizienz zu erzielen. Darüber hinaus präsentieren wir zur weiteren Verbesserung der Benutzerfreundlichkeit ein grob- bis feinabgestuftes 2D-Skizzenschnittstellen-Design und ein datengestütztes Strichvorschlagstool. Benutzerstudien demonstrieren die Überlegenheit unseres Systems gegenüber bestehenden Modellierungstools in Bezug auf die Benutzerfreundlichkeit und die visuelle Qualität der Ergebnisse. Experimentelle Analysen zeigen auch, dass IDGMM eine bessere Balance zwischen Genauigkeit und Effizienz erreicht. SketchMetaFace ist verfügbar unter https://zhongjinluo.github.io/SketchMetaFace/.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.