拡散モデルにおけるスタイル類似性の測定

Measuring Style Similarity in Diffusion Models

April 1, 2024

著者: Gowthami Somepalli, Anubhav Gupta, Kamal Gupta, Shramay Palta, Micah Goldblum, Jonas Geiping, Abhinav Shrivastava, Tom Goldstein

cs.AI

要旨

生成モデルは現在、グラフィックデザイナーやアーティストによって広く使用されています。これまでの研究では、これらのモデルが生成時にトレーニングデータの内容を記憶し、しばしば複製することが示されています。そのため、生成モデルの普及が進むにつれ、生成された画像をプロフェッショナルな目的で使用する前に、その画像の特性が特定のトレーニングデータに起因するかどうかをデータベース検索によって確認することが重要となっています。この目的のための既存のツールは、類似した意味内容の画像を検索することに焦点を当てています。一方で、多くのアーティストはテキストから画像を生成するモデルにおけるスタイルの複製を懸念しています。本論文では、画像からスタイル記述子を理解し抽出するためのフレームワークを提案します。このフレームワークは、スタイルが画像の主観的な特性であり、色、テクスチャ、形状などの要素の複雑で意味のある相互作用を捉えるという洞察に基づいてキュレーションされた新しいデータセットを含んでいます。また、生成された画像のスタイルをテキストから画像を生成するモデルのトレーニングデータセットに使用された画像に帰属させるために使用できるスタイル記述子を抽出する方法を提案します。様々なスタイル検索タスクにおいて有望な結果を示します。さらに、Stable Diffusionモデルにおけるスタイルの帰属とマッチングを定量的および定性的に分析します。コードと成果物はhttps://github.com/learn2phoenix/CSDで公開されています。

English

Generative models are now widely used by graphic designers and artists. Prior works have shown that these models remember and often replicate content from their training data during generation. Hence as their proliferation increases, it has become important to perform a database search to determine whether the properties of the image are attributable to specific training data, every time before a generated image is used for professional purposes. Existing tools for this purpose focus on retrieving images of similar semantic content. Meanwhile, many artists are concerned with style replication in text-to-image models. We present a framework for understanding and extracting style descriptors from images. Our framework comprises a new dataset curated using the insight that style is a subjective property of an image that captures complex yet meaningful interactions of factors including but not limited to colors, textures, shapes, etc. We also propose a method to extract style descriptors that can be used to attribute style of a generated image to the images used in the training dataset of a text-to-image model. We showcase promising results in various style retrieval tasks. We also quantitatively and qualitatively analyze style attribution and matching in the Stable Diffusion model. Code and artifacts are available at https://github.com/learn2phoenix/CSD.