AniFaceDrawing: スケッチ中のアニメ風ポートレート探索

AniFaceDrawing: Anime Portrait Exploration during Your Sketching

June 13, 2023

著者: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata

cs.AI

要旨

本論文では、人工知能（AI）を用いてユーザーがアニメ風ポートレートを作成する際の支援、すなわち、スケッチの過程でラフな下絵をアニメ風ポートレートに変換する方法に焦点を当てます。入力は、徐々にストロークごとに洗練されていく不完全なフリーハンドスケッチのシーケンスであり、出力は、入力スケッチに対応する高品質なアニメ風ポートレートのシーケンスです。最近のGANは高品質な画像を生成できますが、完成度の低いスケッチから高品質な画像を生成するのは、条件付き画像生成における不適切問題のため、依然として難しい課題です。最新のスケッチから画像への変換（S2I）技術を用いても、アニメ風ポートレートの場合、アニメスタイルがリアルスタイルよりも抽象的であるため、不完全なラフスケッチから高品質な画像を作成することは困難です。この問題に対処するため、我々はStyleGANの潜在空間探索を二段階の学習戦略で採用しました。フリーハンドスケッチの入力ストロークは、StyleGANの潜在構造コードにおけるエッジ情報に関連する属性に対応すると考え、ストロークとこれらの属性のマッチングを「ストロークレベルの分離」と呼びます。第一段階では、事前学習済みのStyleGANモデルを教師エンコーダとして使用し、画像エンコーダを学習させました。第二段階では、追加のデータ（ラベル）なしで生成画像の描画プロセスをシミュレートし、不完全な進行中のスケッチ用のスケッチエンコーダを学習させ、教師エンコーダの分離表現と特徴整合性を持つ高品質なポートレート画像を生成しました。提案する進行型S2Iシステムを定性的および定量的に評価し、不完全な進行中のスケッチから高品質なアニメ風ポートレートを生成することに成功しました。ユーザー調査により、アニメスタイルのアート創作支援における有効性が証明されました。

English

In this paper, we focus on how artificial intelligence (AI) can be used to assist users in the creation of anime portraits, that is, converting rough sketches into anime portraits during their sketching process. The input is a sequence of incomplete freehand sketches that are gradually refined stroke by stroke, while the output is a sequence of high-quality anime portraits that correspond to the input sketches as guidance. Although recent GANs can generate high quality images, it is a challenging problem to maintain the high quality of generated images from sketches with a low degree of completion due to ill-posed problems in conditional image generation. Even with the latest sketch-to-image (S2I) technology, it is still difficult to create high-quality images from incomplete rough sketches for anime portraits since anime style tend to be more abstract than in realistic style. To address this issue, we adopt a latent space exploration of StyleGAN with a two-stage training strategy. We consider the input strokes of a freehand sketch to correspond to edge information-related attributes in the latent structural code of StyleGAN, and term the matching between strokes and these attributes stroke-level disentanglement. In the first stage, we trained an image encoder with the pre-trained StyleGAN model as a teacher encoder. In the second stage, we simulated the drawing process of the generated images without any additional data (labels) and trained the sketch encoder for incomplete progressive sketches to generate high-quality portrait images with feature alignment to the disentangled representations in the teacher encoder. We verified the proposed progressive S2I system with both qualitative and quantitative evaluations and achieved high-quality anime portraits from incomplete progressive sketches. Our user study proved its effectiveness in art creation assistance for the anime style.