AniFaceDrawing : Exploration de portraits anime pendant votre esquisse

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

Auteurs: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

Résumé

Dans cet article, nous nous concentrons sur la manière dont l'intelligence artificielle (IA) peut être utilisée pour assister les utilisateurs dans la création de portraits anime, c'est-à-dire la conversion d'esquisses approximatives en portraits anime pendant leur processus de dessin. L'entrée est une séquence d'esquisses libres incomplètes qui sont progressivement affinées trait par trait, tandis que la sortie est une séquence de portraits anime de haute qualité correspondant aux esquisses d'entrée comme guide. Bien que les GAN récents puissent générer des images de haute qualité, il est difficile de maintenir cette qualité à partir d'esquisses peu complètes en raison de problèmes mal posés dans la génération d'images conditionnelles. Même avec la technologie récente de conversion d'esquisses en images (S2I), il reste complexe de créer des images de haute qualité à partir d'esquisses approximatives incomplètes pour des portraits anime, car le style anime tend à être plus abstrait que le style réaliste. Pour résoudre ce problème, nous adoptons une exploration de l'espace latent de StyleGAN avec une stratégie d'entraînement en deux étapes. Nous considérons que les traits d'une esquisse libre correspondent à des attributs liés à l'information des contours dans le code structurel latent de StyleGAN, et nommons l'appariement entre les traits et ces attributs "désentrelacement au niveau des traits". Dans la première étape, nous avons entraîné un encodeur d'images avec le modèle StyleGAN pré-entraîné comme encodeur enseignant. Dans la deuxième étape, nous avons simulé le processus de dessin des images générées sans données supplémentaires (étiquettes) et entraîné l'encodeur d'esquisses pour des esquisses progressives incomplètes afin de générer des images de portraits de haute qualité avec un alignement des caractéristiques aux représentations désentrelacées de l'encodeur enseignant. Nous avons validé le système S2I progressif proposé par des évaluations qualitatives et quantitatives, obtenant des portraits anime de haute qualité à partir d'esquisses progressives incomplètes. Notre étude utilisateur a prouvé son efficacité dans l'assistance à la création artistique pour le style anime.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.