AniFaceDrawing: Anime-Porträt-Erkundung während Ihres Skizzierens

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

Autoren: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

Zusammenfassung

In diesem Artikel konzentrieren wir uns darauf, wie künstliche Intelligenz (KI) genutzt werden kann, um Benutzer bei der Erstellung von Anime-Porträts zu unterstützen, d.h. das Konvertieren von groben Skizzen in Anime-Porträts während des Zeichenprozesses. Die Eingabe besteht aus einer Sequenz unvollständiger Freihandskizzen, die schrittweise Strich für Strich verfeinert werden, während die Ausgabe eine Sequenz hochwertiger Anime-Porträts ist, die den Eingabeskizzen als Leitfaden entsprechen. Obwohl aktuelle GANs hochwertige Bilder erzeugen können, ist es eine Herausforderung, die hohe Qualität der generierten Bilder aus Skizzen mit einem geringen Fertigstellungsgrad aufgrund von schlecht gestellten Problemen in der bedingten Bildgenerierung aufrechtzuerhalten. Selbst mit der neuesten Sketch-to-Image (S2I)-Technologie ist es schwierig, hochwertige Bilder aus unvollständigen groben Skizzen für Anime-Porträts zu erstellen, da der Anime-Stil tendenziell abstrakter ist als der realistische Stil. Um dieses Problem zu lösen, verwenden wir eine Latent-Space-Exploration von StyleGAN mit einer zweistufigen Trainingsstrategie. Wir betrachten die Eingabestriche einer Freihandskizze als Entsprechung zu kanteninformationsbezogenen Attributen im latenten Strukturcode von StyleGAN und bezeichnen die Übereinstimmung zwischen Strichen und diesen Attributen als Strich-Level-Disentanglement. In der ersten Stufe haben wir einen Bildencoder mit dem vortrainierten StyleGAN-Modell als Lehrer-Encoder trainiert. In der zweiten Stufe simulierten wir den Zeichenprozess der generierten Bilder ohne zusätzliche Daten (Labels) und trainierten den Skizzen-Encoder für unvollständige progressive Skizzen, um hochwertige Porträtbilder mit Feature-Alignment zu den disentangled Repräsentationen im Lehrer-Encoder zu erzeugen. Wir haben das vorgeschlagene progressive S2I-System sowohl qualitativ als auch quantitativ evaluiert und hochwertige Anime-Porträts aus unvollständigen progressiven Skizzen erzielt. Unsere Benutzerstudie bewies seine Effektivität bei der Unterstützung der Kunstschaffung im Anime-Stil.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.