SketchMetaFace: 고해상도 3D 캐릭터 얼굴 모델링을 위한 학습 기반 스케칭 인터페이스

초록

3D 아바타 모델링은 AR/VR, 게임, 영화 제작 등 다양한 응용 시나리오에서 유용하게 활용된다. 캐릭터의 얼굴은 아바타의 중요한 구성 요소로서 다양성과 생동감을 크게 기여한다. 그러나 3D 캐릭터 얼굴 모델을 구축하는 것은 상용 도구를 사용하더라도 숙련된 아티스트에게도 상당한 작업 부담을 요구한다. 기존의 다양한 스케치 기반 도구들은 아마추어 사용자가 다양한 얼굴 형태와 풍부한 기하학적 디테일을 모델링하는 데 필요한 지원을 제공하지 못한다. 본 논문에서는 아마추어 사용자가 단 몇 분 만에 고품질의 3D 얼굴을 모델링할 수 있도록 지원하는 스케치 기반 시스템인 SketchMetaFace를 소개한다. 우리는 사용자 인터페이스와 내부 알고리즘을 세심하게 설계하였다. 첫째, 곡률 인식 스트로크를 도입하여 얼굴 디테일을 조각하는 데 있어 제어성을 향상시켰다. 둘째, 2D 스케치 맵을 3D 모델로 매핑하는 핵심 문제를 고려하여, "Implicit and Depth Guided Mesh Modeling"(IDGMM)이라는 새로운 학습 기반 방법을 개발하였다. 이 방법은 메시, 임플리시트, 깊이 표현의 장점을 융합하여 고품질의 결과를 효율적으로 달성한다. 또한, 사용성을 더욱 지원하기 위해, 거친 스케치에서 세밀한 스케치로 이어지는 2D 스케칭 인터페이스 설계와 데이터 기반 스트로크 제안 도구를 제시한다. 사용자 연구를 통해 우리의 시스템이 기존 모델링 도구 대비 사용 편의성과 시각적 품질 면에서 우수함을 입증하였다. 실험 분석 또한 IDGMM이 정확도와 효율성 사이에서 더 나은 균형을 달성함을 보여준다. SketchMetaFace는 https://zhongjinluo.github.io/SketchMetaFace/에서 확인할 수 있다.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.

SketchMetaFace: 고해상도 3D 캐릭터 얼굴 모델링을 위한 학습 기반 스케칭 인터페이스

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

초록

Support