テキストからステッカーへ：人間の表現のための潜在拡散モデルのスタイル調整

Text-to-Sticker: Style Tailoring Latent Diffusion Models for Human Expression

November 17, 2023

著者: Animesh Sinha, Bo Sun, Anmol Kalia, Arantxa Casanova, Elliot Blanchard, David Yan, Winnie Zhang, Tony Nelli, Jiahui Chen, Hardik Shah, Licheng Yu, Mitesh Kumar Singh, Ankit Ramchandani, Maziar Sanjabi, Sonal Gupta, Amy Bearman, Dhruv Mahajan

cs.AI

要旨

本論文では、視覚品質、プロンプト整合性、シーン多様性を高めた状態で、特定のドメインにおいてLatent Diffusion Models（LDMs）を微調整する手法「Style Tailoring」を提案します。ターゲットドメインとしてステッカー画像生成を選択しました。これは、大規模LDMsが通常生成するフォトリアルなサンプルとは大きく異なるためです。まず、Emuのような優れたテキスト画像生成モデルをベースに、フォトリアルなモデルを用いたプロンプトエンジニアリングによるステッカー生成では、プロンプト整合性とシーン多様性が低いことを示します。これらの欠点を克服するため、まず弱教師あり学習で収集した数百万のステッカー風画像を用いてEmuを微調整し、多様性を引き出します。次に、モデル生成から人間参加型（HITL）のAlignmentデータセットとStyleデータセットをキュレーションし、それぞれプロンプト整合性とスタイル整合性を向上させるために微調整を行います。これらのデータセットに対する逐次的な微調整は、スタイル整合性とプロンプト整合性の向上の間でトレードオフを生じさせます。このトレードオフに対処するため、コンテンツとスタイル分布を同時に適合させる新たな微調整手法「Style Tailoring」を提案し、最適なトレードオフを実現します。評価結果によると、本手法はベースのEmuモデルをプロンプトエンジニアリングしてステッカーを生成する場合と比較して、視覚品質を14%、プロンプト整合性を16.2%、シーン多様性を15.3%向上させることが示されました。

English

We introduce Style Tailoring, a recipe to finetune Latent Diffusion Models (LDMs) in a distinct domain with high visual quality, prompt alignment and scene diversity. We choose sticker image generation as the target domain, as the images significantly differ from photorealistic samples typically generated by large-scale LDMs. We start with a competent text-to-image model, like Emu, and show that relying on prompt engineering with a photorealistic model to generate stickers leads to poor prompt alignment and scene diversity. To overcome these drawbacks, we first finetune Emu on millions of sticker-like images collected using weak supervision to elicit diversity. Next, we curate human-in-the-loop (HITL) Alignment and Style datasets from model generations, and finetune to improve prompt alignment and style alignment respectively. Sequential finetuning on these datasets poses a tradeoff between better style alignment and prompt alignment gains. To address this tradeoff, we propose a novel fine-tuning method called Style Tailoring, which jointly fits the content and style distribution and achieves best tradeoff. Evaluation results show our method improves visual quality by 14%, prompt alignment by 16.2% and scene diversity by 15.3%, compared to prompt engineering the base Emu model for stickers generation.