SketchMetaFace: 高忠実度3Dキャラクターフェイスモデリングのための学習ベースのスケッチインターフェース

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

著者: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

要旨

3Dアバターのモデリングは、AR/VR、ゲーム、映画制作など、さまざまな応用シナリオにおいて利点があります。キャラクターの顔は、アバターの重要な構成要素として、多様性と臨場感を大きく貢献します。しかし、3Dキャラクターの顔モデルを構築するには、商用ツールを使用しても、経験豊富なアーティストにとって多大な作業量が必要です。既存のスケッチベースのツールの多くは、アマチュアが多様な顔の形状や豊かな幾何学的詳細をモデリングするのを支援できていません。本論文では、アマチュアユーザーが数分で高精細な3D顔をモデリングするためのスケッチシステム「SketchMetaFace」を提案します。ユーザーインターフェースと基盤となるアルゴリズムの両方を慎重に設計しました。まず、顔の詳細を彫り込む際の制御性を向上させるために、曲率を考慮したストロークを採用しました。次に、2Dスケッチマップを3Dモデルにマッピングするという重要な問題に対処するため、「Implicit and Depth Guided Mesh Modeling」（IDGMM）と呼ばれる新しい学習ベースの手法を開発しました。これは、メッシュ、陰関数、深度表現の利点を融合し、高品質な結果を効率的に達成します。さらに、使いやすさをさらに支援するために、粗から細への2Dスケッチインターフェース設計と、データ駆動型のストローク提案ツールを提示します。ユーザー調査により、当システムの使いやすさと結果の視覚的品質が既存のモデリングツールを上回ることが実証されました。実験分析では、IDGMMが精度と効率性の間でより良いトレードオフを達成していることも示されています。SketchMetaFaceはhttps://zhongjinluo.github.io/SketchMetaFace/で利用可能です。

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.