AniFaceDrawing: Anime Portretverkenning tijdens het Schetsen

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

Auteurs: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

Samenvatting

In dit artikel richten we ons op hoe kunstmatige intelligentie (AI) kan worden gebruikt om gebruikers te assisteren bij het maken van animeportretten, namelijk door ruwe schetsen om te zetten in animeportretten tijdens het schetsproces. De input bestaat uit een reeks onvolledige vrijehandschetsen die geleidelijk aan stroke voor stroke worden verfijnd, terwijl de output een reeks hoogwaardige animeportretten is die overeenkomen met de inputschetsen als leidraad. Hoewel recente GAN's hoogwaardige afbeeldingen kunnen genereren, is het een uitdaging om de hoge kwaliteit van gegenereerde afbeeldingen te behouden bij schetsen met een lage mate van voltooiing vanwege ill-posed problemen in conditionele beeldgeneratie. Zelfs met de nieuwste schets-naar-beeld (S2I) technologie is het nog steeds moeilijk om hoogwaardige afbeeldingen te creëren vanuit onvolledige ruwe schetsen voor animeportretten, aangezien de anime-stijl vaak abstracter is dan realistische stijlen. Om dit probleem aan te pakken, gebruiken we een latente ruimte-exploratie van StyleGAN met een tweefasige trainingsstrategie. We beschouwen de inputstreken van een vrijehandschets als overeenkomend met randinformatie-gerelateerde attributen in de latente structurele code van StyleGAN, en noemen de overeenkomst tussen streken en deze attributen stroke-level disentanglement. In de eerste fase hebben we een beeldencoder getraind met het vooraf getrainde StyleGAN-model als een leraar-encoder. In de tweede fase hebben we het tekenproces van de gegenereerde afbeeldingen gesimuleerd zonder aanvullende data (labels) en hebben we de schetsencoder getraind voor onvolledige progressieve schetsen om hoogwaardige portretafbeeldingen te genereren met feature alignment naar de ontwarde representaties in de leraar-encoder. We hebben het voorgestelde progressieve S2I-systeem geverifieerd met zowel kwalitatieve als kwantitatieve evaluaties en hebben hoogwaardige animeportretten bereikt vanuit onvolledige progressieve schetsen. Onze gebruikersstudie bewees de effectiviteit ervan in kunstcreatie-assistentie voor de anime-stijl.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.