Mesure de la similarité stylistique dans les modèles de diffusion

Measuring Style Similarity in Diffusion Models

April 1, 2024

Auteurs: Gowthami Somepalli, Anubhav Gupta, Kamal Gupta, Shramay Palta, Micah Goldblum, Jonas Geiping, Abhinav Shrivastava, Tom Goldstein

cs.AI

Résumé

Les modèles génératifs sont désormais largement utilisés par les graphistes et les artistes. Des travaux antérieurs ont montré que ces modèles mémorisent et reproduisent souvent du contenu issu de leurs données d'entraînement lors de la génération. Ainsi, avec leur prolifération croissante, il est devenu essentiel d'effectuer une recherche dans la base de données pour déterminer si les propriétés de l'image sont attribuables à des données d'entraînement spécifiques, chaque fois qu'une image générée est utilisée à des fins professionnelles. Les outils existants à cette fin se concentrent sur la récupération d'images ayant un contenu sémantique similaire. Parallèlement, de nombreux artistes s'inquiètent de la réplication de style dans les modèles texte-à-image. Nous présentons un cadre pour comprendre et extraire des descripteurs de style à partir d'images. Notre cadre comprend un nouvel ensemble de données élaboré en partant du principe que le style est une propriété subjective d'une image qui capture des interactions complexes mais significatives de facteurs incluant, sans s'y limiter, les couleurs, les textures, les formes, etc. Nous proposons également une méthode pour extraire des descripteurs de style qui peuvent être utilisés pour attribuer le style d'une image générée aux images utilisées dans l'ensemble de données d'entraînement d'un modèle texte-à-image. Nous démontrons des résultats prometteurs dans diverses tâches de récupération de style. Nous analysons également de manière quantitative et qualitative l'attribution et la correspondance de style dans le modèle Stable Diffusion. Le code et les artefacts sont disponibles à l'adresse https://github.com/learn2phoenix/CSD.

English

Generative models are now widely used by graphic designers and artists. Prior works have shown that these models remember and often replicate content from their training data during generation. Hence as their proliferation increases, it has become important to perform a database search to determine whether the properties of the image are attributable to specific training data, every time before a generated image is used for professional purposes. Existing tools for this purpose focus on retrieving images of similar semantic content. Meanwhile, many artists are concerned with style replication in text-to-image models. We present a framework for understanding and extracting style descriptors from images. Our framework comprises a new dataset curated using the insight that style is a subjective property of an image that captures complex yet meaningful interactions of factors including but not limited to colors, textures, shapes, etc. We also propose a method to extract style descriptors that can be used to attribute style of a generated image to the images used in the training dataset of a text-to-image model. We showcase promising results in various style retrieval tasks. We also quantitatively and qualitatively analyze style attribution and matching in the Stable Diffusion model. Code and artifacts are available at https://github.com/learn2phoenix/CSD.