SketchMetaFace: Uma Interface de Desenho Baseada em Aprendizado para Modelagem de Faces de Personagens 3D de Alta Fidelidade

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

Autores: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

Resumo

A modelagem de avatares 3D beneficia diversos cenários de aplicação, como AR/VR, jogos e filmagens. Os rostos dos personagens contribuem com uma diversidade e vivacidade significativas como um componente vital dos avatares. No entanto, a construção de modelos 3D de rostos de personagens geralmente exige um grande esforço com ferramentas comerciais, mesmo para artistas experientes. Diversas ferramentas existentes baseadas em esboços falham em apoiar amadores na modelagem de formas faciais diversas e detalhes geométricos ricos. Neste artigo, apresentamos o SketchMetaFace - um sistema de esboço voltado para usuários amadores para modelar rostos 3D de alta fidelidade em minutos. Projetamos cuidadosamente tanto a interface do usuário quanto o algoritmo subjacente. Primeiro, traços conscientes da curvatura são adotados para melhor apoiar a controlabilidade do entalhe de detalhes faciais. Segundo, considerando o problema-chave de mapear um esboço 2D para um modelo 3D, desenvolvemos um novo método baseado em aprendizado denominado "Modelagem de Malha Guiada por Implícito e Profundidade" (IDGMM). Ele funde as vantagens das representações de malha, implícita e de profundidade para alcançar resultados de alta qualidade com alta eficiência. Além disso, para apoiar ainda mais a usabilidade, apresentamos um design de interface de esboço 2D de grosseiro para fino e uma ferramenta de sugestão de traços baseada em dados. Estudos com usuários demonstram a superioridade do nosso sistema em relação às ferramentas de modelagem existentes em termos de facilidade de uso e qualidade visual dos resultados. Análises experimentais também mostram que o IDGMM alcança um melhor equilíbrio entre precisão e eficiência. O SketchMetaFace está disponível em https://zhongjinluo.github.io/SketchMetaFace/.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.