SketchMetaFace: Обучаемый интерфейс для создания эскизов высококачественного 3D-моделирования лиц персонажей

SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

July 3, 2023

Авторы: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han

cs.AI

Аннотация

Моделирование 3D-аватаров полезно в различных сценариях применения, таких как AR/VR, игры и кинопроизводство. Лица персонажей вносят значительный вклад в разнообразие и выразительность как важный компонент аватаров. Однако создание 3D-моделей лиц персонажей обычно требует больших усилий с использованием коммерческих инструментов, даже для опытных художников. Различные существующие инструменты на основе эскизов не поддерживают любителей в моделировании разнообразных форм лица и богатых геометрических деталей. В этой статье мы представляем SketchMetaFace — систему для создания эскизов, предназначенную для пользователей-любителей, позволяющую моделировать высококачественные 3D-лица за считанные минуты. Мы тщательно разработали как пользовательский интерфейс, так и базовый алгоритм. Во-первых, используются штрихи, учитывающие кривизну, чтобы лучше поддерживать управляемость при создании деталей лица. Во-вторых, учитывая ключевую проблему преобразования 2D-эскиза в 3D-модель, мы разработали новый метод на основе обучения, названный "Моделирование сетки с использованием неявных и глубинных данных" (IDGMM). Он объединяет преимущества представлений в виде сетки, неявных и глубинных данных для достижения высококачественных результатов с высокой эффективностью. Кроме того, для дальнейшего повышения удобства использования мы представляем интерфейс для создания эскизов от грубого к детальному и инструмент для предложения штрихов на основе данных. Исследования с участием пользователей демонстрируют превосходство нашей системы над существующими инструментами моделирования с точки зрения простоты использования и визуального качества результатов. Экспериментальные анализы также показывают, что IDGMM достигает лучшего баланса между точностью и эффективностью. SketchMetaFace доступен по адресу https://zhongjinluo.github.io/SketchMetaFace/.

English

Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace are available at https://zhongjinluo.github.io/SketchMetaFace/.