StyleDrop: 任意のスタイルでのテキストから画像生成

StyleDrop: Text-to-Image Generation in Any Style

June 1, 2023

著者: Kihyuk Sohn, Nataniel Ruiz, Kimin Lee, Daniel Castro Chin, Irina Blok, Huiwen Chang, Jarred Barber, Lu Jiang, Glenn Entis, Yuanzhen Li, Yuan Hao, Irfan Essa, Michael Rubinstein, Dilip Krishnan

cs.AI

要旨

事前学習済みの大規模テキスト画像生成モデルは、適切なテキストプロンプトを使用することで印象的な画像を合成します。しかし、自然言語に内在する曖昧さや分布外効果のため、特定のデザインパターン、テクスチャ、または素材を活用した画像スタイルを合成することは困難です。本論文では、テキスト画像生成モデルを用いて特定のスタイルを忠実に再現した画像を合成する手法、StyleDropを紹介します。提案手法は非常に汎用性が高く、ユーザーが提供したスタイルのニュアンスや詳細（カラースキーム、シェーディング、デザインパターン、局所的および全体的な効果など）を的確に捉えます。また、非常に少ない学習可能なパラメータ（モデル全体のパラメータの1%未満）を微調整し、人間または自動化されたフィードバックを用いた反復学習を通じて品質を向上させることで、効率的に新しいスタイルを学習します。さらに、StyleDropはユーザーが目的のスタイルを指定する単一の画像のみを提供する場合でも、印象的な結果を提供することが可能です。広範な研究により、テキスト画像生成モデルのスタイルチューニングタスクにおいて、Muse上で実装されたStyleDropが、ImagenやStable Diffusion上のDreamBoothやテキスト反転などの他の手法を明らかに上回ることが示されています。詳細な結果はプロジェクトウェブサイト（https://styledrop.github.io）でご覧いただけます。

English

Pre-trained large text-to-image models synthesize impressive images with an appropriate use of text prompts. However, ambiguities inherent in natural language and out-of-distribution effects make it hard to synthesize image styles, that leverage a specific design pattern, texture or material. In this paper, we introduce StyleDrop, a method that enables the synthesis of images that faithfully follow a specific style using a text-to-image model. The proposed method is extremely versatile and captures nuances and details of a user-provided style, such as color schemes, shading, design patterns, and local and global effects. It efficiently learns a new style by fine-tuning very few trainable parameters (less than 1% of total model parameters) and improving the quality via iterative training with either human or automated feedback. Better yet, StyleDrop is able to deliver impressive results even when the user supplies only a single image that specifies the desired style. An extensive study shows that, for the task of style tuning text-to-image models, StyleDrop implemented on Muse convincingly outperforms other methods, including DreamBooth and textual inversion on Imagen or Stable Diffusion. More results are available at our project website: https://styledrop.github.io