AniFaceDrawing: Esplorazione di Ritratti Anime Durante il Tuo Schizzo

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

Autori: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

Abstract

In questo articolo, ci concentriamo su come l'intelligenza artificiale (IA) possa essere utilizzata per assistere gli utenti nella creazione di ritratti anime, ovvero convertire schizzi approssimativi in ritratti anime durante il processo di disegno. L'input è una sequenza di schizzi a mano libera incompleti che vengono gradualmente raffinati tratto per tratto, mentre l'output è una sequenza di ritratti anime di alta qualità che corrispondono agli schizzi di input come guida. Sebbene le recenti GAN possano generare immagini di alta qualità, è un problema complesso mantenere la qualità elevata delle immagini generate da schizzi con un basso grado di completamento a causa di problemi mal posti nella generazione condizionata di immagini. Anche con le più recenti tecnologie di conversione da schizzo a immagine (S2I), è ancora difficile creare immagini di alta qualità da schizzi approssimativi incompleti per ritratti anime, poiché lo stile anime tende ad essere più astratto rispetto allo stile realistico. Per affrontare questo problema, adottiamo un'esplorazione dello spazio latente di StyleGAN con una strategia di addestramento in due fasi. Consideriamo i tratti di input di uno schizzo a mano libera come corrispondenti ad attributi legati alle informazioni sui bordi nel codice strutturale latente di StyleGAN, e definiamo la corrispondenza tra tratti e questi attributi come "disentanglement a livello di tratto". Nella prima fase, abbiamo addestrato un codificatore di immagini utilizzando il modello StyleGAN pre-addestrato come codificatore insegnante. Nella seconda fase, abbiamo simulato il processo di disegno delle immagini generate senza dati aggiuntivi (etichette) e abbiamo addestrato il codificatore di schizzi per schizzi progressivi incompleti per generare immagini di ritratti di alta qualità con allineamento delle caratteristiche alle rappresentazioni disentangled nel codificatore insegnante. Abbiamo verificato il sistema S2I progressivo proposto con valutazioni sia qualitative che quantitative e abbiamo ottenuto ritratti anime di alta qualità da schizzi progressivi incompleti. Il nostro studio sugli utenti ha dimostrato la sua efficacia nell'assistenza alla creazione artistica per lo stile anime.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.