ZePo：高速サンプリングを実現するゼロショットポートレートスタイライゼーション

ZePo: Zero-Shot Portrait Stylization with Faster Sampling

August 10, 2024

著者: Jin Liu, Huaibo Huang, Jie Cao, Ran He

cs.AI

要旨

拡散モデルに基づくテキストから画像生成モデルは、アートコンテンツ合成の分野を大きく進展させてきました。しかし、現在の肖像画スタイル化手法は、一般的に例に基づくモデルの微調整か、DDIM逆変換を用いて画像をノイズ空間に戻すことを必要とし、どちらも画像生成プロセスを大幅に遅らせます。これらの制限を克服するため、本論文では拡散モデルに基づく逆変換不要の肖像画スタイル化フレームワークを提案します。このフレームワークは、わずか4つのサンプリングステップでコンテンツとスタイルの特徴融合を実現します。我々は、一貫性蒸留を用いた潜在一貫性モデルが、ノイズの多い画像から代表的な一貫性特徴を効果的に抽出できることを観察しました。コンテンツ画像とスタイル画像の両方から抽出された一貫性特徴を融合するために、ターゲット画像のアテンション空間内でコンテンツとスタイルの特徴を緻密に統合するスタイル強調アテンション制御技術を導入しました。さらに、一貫性特徴における冗長な特徴を統合するための特徴融合戦略を提案し、アテンション制御の計算負荷を軽減します。広範な実験により、提案フレームワークがスタイル化の効率と忠実度を向上させる効果を検証しました。コードはhttps://github.com/liujin112/ZePoで公開されています。

English

Diffusion-based text-to-image generation models have significantly advanced the field of art content synthesis. However, current portrait stylization methods generally require either model fine-tuning based on examples or the employment of DDIM Inversion to revert images to noise space, both of which substantially decelerate the image generation process. To overcome these limitations, this paper presents an inversion-free portrait stylization framework based on diffusion models that accomplishes content and style feature fusion in merely four sampling steps. We observed that Latent Consistency Models employing consistency distillation can effectively extract representative Consistency Features from noisy images. To blend the Consistency Features extracted from both content and style images, we introduce a Style Enhancement Attention Control technique that meticulously merges content and style features within the attention space of the target image. Moreover, we propose a feature merging strategy to amalgamate redundant features in Consistency Features, thereby reducing the computational load of attention control. Extensive experiments have validated the effectiveness of our proposed framework in enhancing stylization efficiency and fidelity. The code is available at https://github.com/liujin112/ZePo.