AniFaceDrawing: Exploración de Retratos Anime durante tu Boceto

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

Autores: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

Resumen

En este artículo, nos centramos en cómo la inteligencia artificial (IA) puede utilizarse para asistir a los usuarios en la creación de retratos anime, es decir, convertir bocetos aproximados en retratos anime durante su proceso de dibujo. La entrada es una secuencia de bocetos a mano alzada incompletos que se refinan gradualmente trazo a trazo, mientras que la salida es una secuencia de retratos anime de alta calidad que corresponden a los bocetos de entrada como guía. Aunque los GANs recientes pueden generar imágenes de alta calidad, es un problema desafiante mantener la alta calidad de las imágenes generadas a partir de bocetos con un bajo grado de finalización debido a problemas mal planteados en la generación condicional de imágenes. Incluso con la última tecnología de boceto a imagen (S2I), sigue siendo difícil crear imágenes de alta calidad a partir de bocetos aproximados incompletos para retratos anime, ya que el estilo anime tiende a ser más abstracto que el estilo realista. Para abordar este problema, adoptamos una exploración del espacio latente de StyleGAN con una estrategia de entrenamiento en dos etapas. Consideramos que los trazos de entrada de un boceto a mano alzada corresponden a atributos relacionados con la información de bordes en el código estructural latente de StyleGAN, y denominamos a la correspondencia entre trazos y estos atributos como desentrelazamiento a nivel de trazo. En la primera etapa, entrenamos un codificador de imágenes con el modelo preentrenado de StyleGAN como codificador maestro. En la segunda etapa, simulamos el proceso de dibujo de las imágenes generadas sin datos adicionales (etiquetas) y entrenamos el codificador de bocetos para bocetos progresivos incompletos, con el fin de generar imágenes de retrato de alta calidad con alineación de características a las representaciones desentrelazadas en el codificador maestro. Verificamos el sistema progresivo S2I propuesto con evaluaciones cualitativas y cuantitativas, logrando retratos anime de alta calidad a partir de bocetos progresivos incompletos. Nuestro estudio de usuarios demostró su efectividad en la asistencia para la creación artística en el estilo anime.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.