AniFaceDrawing: Исследование аниме-портретов в процессе вашего рисования

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

Авторы: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

Аннотация

В данной статье мы сосредоточимся на том, как искусственный интеллект (ИИ) может быть использован для помощи пользователям в создании аниме-портретов, а именно для преобразования набросков в аниме-портреты в процессе их рисования. На вход подается последовательность незавершенных свободных набросков, которые постепенно уточняются штрих за штрихом, а на выходе получается последовательность высококачественных аниме-портретов, соответствующих входным наброскам в качестве ориентира. Хотя современные генеративно-состязательные сети (GAN) способны создавать изображения высокого качества, задача сохранения высокого качества генерируемых изображений из набросков с низкой степенью завершенности остается сложной из-за некорректно поставленных задач в условной генерации изображений. Даже с использованием последних технологий преобразования набросков в изображения (S2I) создание высококачественных изображений из незавершенных набросков для аниме-портретов остается трудной задачей, поскольку аниме-стиль имеет тенденцию быть более абстрактным по сравнению с реалистичным стилем. Для решения этой проблемы мы применяем исследование латентного пространства StyleGAN с двухэтапной стратегией обучения. Мы рассматриваем входные штрихи свободного наброска как соответствующие атрибутам, связанным с информацией о границах в латентном структурном коде StyleGAN, и называем соответствие между штрихами и этими атрибутами развязкой на уровне штрихов. На первом этапе мы обучили кодировщик изображений с использованием предварительно обученной модели StyleGAN в качестве учителя. На втором этапе мы смоделировали процесс рисования генерируемых изображений без использования дополнительных данных (меток) и обучили кодировщик набросков для незавершенных прогрессивных набросков, чтобы генерировать высококачественные портретные изображения с выравниванием признаков по развязанным представлениям в учителе. Мы проверили предложенную прогрессивную систему S2I с помощью качественных и количественных оценок и достигли высококачественных аниме-портретов из незавершенных прогрессивных набросков. Наше пользовательское исследование подтвердило эффективность системы в помощи художественному творчеству в аниме-стиле.

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.