SUR-adapter: 大規模言語モデルを用いたテキストから画像への事前学習拡散モデルの強化

SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models

May 9, 2023

著者: Shanshan Zhong, Zhongzhan Huang, Wushao Wen, Jinghui Qin, Liang Lin

cs.AI

要旨

テキストから画像を生成する人気モデルとして登場した拡散モデルは、テキストプロンプトに導かれて高品質で内容豊富な画像を生成することができます。しかし、入力プロンプトが簡潔な物語形式の場合、既存のモデルでは意味理解と常識推論に限界があり、低品質な画像生成につながります。物語形式のプロンプトに対する能力を向上させるため、我々は事前学習済み拡散モデル向けのシンプルかつ効果的なパラメータ効率型ファインチューニング手法「Semantic Understanding and Reasoning adapter（SUR-adapter）」を提案します。この目標を達成するため、まず57,000以上の意味的に修正されたマルチモーダルサンプルからなる新しいデータセットSURDを収集・注釈しました。各サンプルには、簡潔な物語形式プロンプト、複雑なキーワードベースのプロンプト、および高品質な画像が含まれています。次に、物語形式プロンプトの意味表現を複雑なプロンプトに整列させ、大規模言語モデル（LLM）の知識を知識蒸留を通じてSUR-adapterに転移させることで、テキストから画像生成のための高品質なテキスト意味表現を構築する強力な意味理解と推論能力を獲得させます。複数のLLMと人気のある事前学習済み拡散モデルを統合して実験を行い、我々のアプローチが画像品質の低下なしに簡潔な自然言語を理解・推論する拡散モデルを可能にする効果を示しました。我々のアプローチは、テキストから画像を生成する拡散モデルの使用を容易にし、ユーザーエクスペリエンスを向上させることができ、簡潔な物語形式プロンプトと複雑なキーワードベースプロンプトの間の意味的ギャップを埋めることで、ユーザーフレンドリーなテキストから画像を生成するモデルの開発をさらに進める可能性を示しています。

English

Diffusion models, which have emerged to become popular text-to-image generation models, can produce high-quality and content-rich images guided by textual prompts. However, there are limitations to semantic understanding and commonsense reasoning in existing models when the input prompts are concise narrative, resulting in low-quality image generation. To improve the capacities for narrative prompts, we propose a simple-yet-effective parameter-efficient fine-tuning approach called the Semantic Understanding and Reasoning adapter (SUR-adapter) for pre-trained diffusion models. To reach this goal, we first collect and annotate a new dataset SURD which consists of more than 57,000 semantically corrected multi-modal samples. Each sample contains a simple narrative prompt, a complex keyword-based prompt, and a high-quality image. Then, we align the semantic representation of narrative prompts to the complex prompts and transfer knowledge of large language models (LLMs) to our SUR-adapter via knowledge distillation so that it can acquire the powerful semantic understanding and reasoning capabilities to build a high-quality textual semantic representation for text-to-image generation. We conduct experiments by integrating multiple LLMs and popular pre-trained diffusion models to show the effectiveness of our approach in enabling diffusion models to understand and reason concise natural language without image quality degradation. Our approach can make text-to-image diffusion models easier to use with better user experience, which demonstrates our approach has the potential for further advancing the development of user-friendly text-to-image generation models by bridging the semantic gap between simple narrative prompts and complex keyword-based prompts.