Medición de Similitud de Estilo en Modelos de Difusión

Measuring Style Similarity in Diffusion Models

April 1, 2024

Autores: Gowthami Somepalli, Anubhav Gupta, Kamal Gupta, Shramay Palta, Micah Goldblum, Jonas Geiping, Abhinav Shrivastava, Tom Goldstein

cs.AI

Resumen

Los modelos generativos son ahora ampliamente utilizados por diseñadores gráficos y artistas. Trabajos previos han demostrado que estos modelos recuerdan y a menudo replican contenido de sus datos de entrenamiento durante la generación. Por lo tanto, a medida que su proliferación aumenta, se ha vuelto importante realizar una búsqueda en la base de datos para determinar si las propiedades de la imagen son atribuibles a datos de entrenamiento específicos, cada vez que se utiliza una imagen generada con fines profesionales. Las herramientas existentes para este propósito se centran en recuperar imágenes con contenido semántico similar. Mientras tanto, muchos artistas están preocupados por la replicación de estilos en los modelos de texto a imagen. Presentamos un marco para comprender y extraer descriptores de estilo de las imágenes. Nuestro marco comprende un nuevo conjunto de datos curado utilizando la idea de que el estilo es una propiedad subjetiva de una imagen que captura interacciones complejas pero significativas de factores que incluyen, entre otros, colores, texturas, formas, etc. También proponemos un método para extraer descriptores de estilo que pueden usarse para atribuir el estilo de una imagen generada a las imágenes utilizadas en el conjunto de datos de entrenamiento de un modelo de texto a imagen. Mostramos resultados prometedores en diversas tareas de recuperación de estilos. También analizamos cuantitativa y cualitativamente la atribución y coincidencia de estilos en el modelo Stable Diffusion. El código y los artefactos están disponibles en https://github.com/learn2phoenix/CSD.

English

Generative models are now widely used by graphic designers and artists. Prior works have shown that these models remember and often replicate content from their training data during generation. Hence as their proliferation increases, it has become important to perform a database search to determine whether the properties of the image are attributable to specific training data, every time before a generated image is used for professional purposes. Existing tools for this purpose focus on retrieving images of similar semantic content. Meanwhile, many artists are concerned with style replication in text-to-image models. We present a framework for understanding and extracting style descriptors from images. Our framework comprises a new dataset curated using the insight that style is a subjective property of an image that captures complex yet meaningful interactions of factors including but not limited to colors, textures, shapes, etc. We also propose a method to extract style descriptors that can be used to attribute style of a generated image to the images used in the training dataset of a text-to-image model. We showcase promising results in various style retrieval tasks. We also quantitatively and qualitatively analyze style attribution and matching in the Stable Diffusion model. Code and artifacts are available at https://github.com/learn2phoenix/CSD.