SketchMetaFace: Una interfaz de dibujo basada en aprendizaje para el modelado de rostros de personajes 3D de alta fidelidad

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

Autores: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

Resumen

El modelado de avatares 3D beneficia diversos escenarios de aplicación como AR/VR, videojuegos y producción cinematográfica. Los rostros de los personajes aportan una diversidad y vivacidad significativas como componente vital de los avatares. Sin embargo, la creación de modelos 3D de rostros de personajes generalmente requiere una carga de trabajo considerable con herramientas comerciales, incluso para artistas experimentados. Diversas herramientas existentes basadas en bocetos no logran apoyar a los aficionados en el modelado de formas faciales diversas y detalles geométricos ricos. En este artículo, presentamos SketchMetaFace: un sistema de bocetos dirigido a usuarios aficionados para modelar rostros 3D de alta fidelidad en minutos. Diseñamos cuidadosamente tanto la interfaz de usuario como el algoritmo subyacente. Primero, se adoptan trazos conscientes de la curvatura para mejorar la controlabilidad al esculpir detalles faciales. Segundo, considerando el problema clave de mapear un boceto 2D a un modelo 3D, desarrollamos un novedoso método basado en aprendizaje denominado "Modelado de Malla Guiado por Representaciones Implícitas y de Profundidad" (IDGMM, por sus siglas en inglés). Este método fusiona las ventajas de las representaciones de malla, implícitas y de profundidad para lograr resultados de alta calidad con gran eficiencia. Además, para mejorar la usabilidad, presentamos un diseño de interfaz de bocetos 2D de coarse-to-fine y una herramienta de sugerencia de trazos basada en datos. Estudios con usuarios demuestran la superioridad de nuestro sistema frente a las herramientas de modelado existentes en términos de facilidad de uso y calidad visual de los resultados. Los análisis experimentales también muestran que IDGMM alcanza un mejor equilibrio entre precisión y eficiencia. SketchMetaFace está disponible en https://zhongjinluo.github.io/SketchMetaFace/.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.