Измерение Сходства Стиля в Моделях Диффузии

Measuring Style Similarity in Diffusion Models

April 1, 2024

Авторы: Gowthami Somepalli, Anubhav Gupta, Kamal Gupta, Shramay Palta, Micah Goldblum, Jonas Geiping, Abhinav Shrivastava, Tom Goldstein

cs.AI

Аннотация

Генеративные модели теперь широко используются графическими дизайнерами и художниками. Предыдущие работы показали, что эти модели запоминают и часто реплицируют контент из обучающих данных во время генерации. Поэтому с увеличением их распространения стало важным выполнять поиск по базе данных, чтобы определить, можно ли свойства изображения привести к конкретным обучающим данным, каждый раз перед использованием сгенерированного изображения в профессиональных целях. Существующие инструменты для этой цели сосредоточены на поиске изображений схожего семантического содержания. Тем временем многие художники интересуются воспроизведением стиля в моделях текст-изображение. Мы представляем фреймворк для понимания и извлечения описателей стиля изображений. Наш фреймворк включает в себя новый набор данных, созданный с использованием понимания того, что стиль является субъективным свойством изображения, захватывающим сложные, но значимые взаимодействия факторов, включая, но не ограничиваясь, цветами, текстурами, формами и т. д. Мы также предлагаем метод извлечения описателей стиля, которые могут быть использованы для атрибуции стиля сгенерированного изображения к изображениям, использованным в обучающем наборе данных модели текст-изображение. Мы демонстрируем многообещающие результаты в различных задачах поиска стиля. Мы также проводим количественный и качественный анализ атрибуции и сопоставления стилей в модели Stable Diffusion. Код и артефакты доступны по адресу https://github.com/learn2phoenix/CSD.

English

Generative models are now widely used by graphic designers and artists. Prior works have shown that these models remember and often replicate content from their training data during generation. Hence as their proliferation increases, it has become important to perform a database search to determine whether the properties of the image are attributable to specific training data, every time before a generated image is used for professional purposes. Existing tools for this purpose focus on retrieving images of similar semantic content. Meanwhile, many artists are concerned with style replication in text-to-image models. We present a framework for understanding and extracting style descriptors from images. Our framework comprises a new dataset curated using the insight that style is a subjective property of an image that captures complex yet meaningful interactions of factors including but not limited to colors, textures, shapes, etc. We also propose a method to extract style descriptors that can be used to attribute style of a generated image to the images used in the training dataset of a text-to-image model. We showcase promising results in various style retrieval tasks. We also quantitatively and qualitatively analyze style attribution and matching in the Stable Diffusion model. Code and artifacts are available at https://github.com/learn2phoenix/CSD.