AniFaceDrawing: 스케치 과정에서의 애니메이션 초상화 탐색

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

저자: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

초록

본 논문에서는 인공지능(AI)이 사용자의 애니메이션 초상화 제작을 보조하는 방법, 즉 스케치 과정에서의 간략한 스케치를 애니메이션 초상화로 변환하는 데 초점을 맞춥니다. 입력은 점진적으로 한 획씩 다듬어지는 불완전한 자유 스케치의 시퀀스이며, 출력은 입력 스케치에 대응하는 고품질 애니메이션 초상화의 시퀀스로, 이를 가이드로 활용합니다. 최근 GAN(Generative Adversarial Network)은 고품질 이미지를 생성할 수 있지만, 낮은 완성도를 가진 스케치에서 고품질 이미지를 생성하는 것은 조건부 이미지 생성에서의 잘못된 문제 설정(ill-posed problem)으로 인해 여전히 어려운 과제입니다. 최신 스케치-투-이미지(S2I) 기술을 사용하더라도, 애니메이션 스타일은 사실적 스타일보다 더 추상적이기 때문에 불완전한 간략한 스케치에서 고품질 애니메이션 초상화를 생성하는 것은 쉽지 않습니다. 이 문제를 해결하기 위해, 우리는 StyleGAN의 잠재 공간 탐색과 두 단계의 학습 전략을 채택했습니다. 자유 스케치의 입력 획을 StyleGAN의 잠재 구조 코드에서 에지 정보와 관련된 속성에 대응하는 것으로 간주하고, 이 획과 속성 간의 매칭을 '획 수준의 분리(stroke-level disentanglement)'라고 명명했습니다. 첫 번째 단계에서는 사전 학습된 StyleGAN 모델을 교사 인코더(teacher encoder)로 사용하여 이미지 인코더를 학습했습니다. 두 번째 단계에서는 추가 데이터(레이블) 없이 생성된 이미지의 그리기 과정을 시뮬레이션하고, 불완전한 점진적 스케치를 위한 스케치 인코더를 학습시켜 교사 인코더의 분리된 표현과 특징 정렬(feature alignment)을 통해 고품질 초상화 이미지를 생성했습니다. 우리는 제안된 점진적 S2I 시스템을 정성적 및 정량적 평가를 통해 검증하고, 불완전한 점진적 스케치에서 고품질 애니메이션 초상화를 생성하는 데 성공했습니다. 사용자 연구를 통해 애니메이션 스타일의 예술 창작 보조에서의 효과성을 입증했습니다.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.