확산 모델에서 스타일 유사성 측정하기

Measuring Style Similarity in Diffusion Models

April 1, 2024

저자: Gowthami Somepalli, Anubhav Gupta, Kamal Gupta, Shramay Palta, Micah Goldblum, Jonas Geiping, Abhinav Shrivastava, Tom Goldstein

cs.AI

초록

생성 모델은 현재 그래픽 디자이너와 예술가들 사이에서 널리 사용되고 있습니다. 선행 연구에 따르면, 이러한 모델들은 생성 과정에서 훈련 데이터의 내용을 기억하고 종종 복제하는 것으로 나타났습니다. 따라서 이러한 모델의 보급이 증가함에 따라, 생성된 이미지를 전문적인 목적으로 사용하기 전마다 해당 이미지의 특성이 특정 훈련 데이터에 기인한 것인지를 판단하기 위해 데이터베이스 검색을 수행하는 것이 중요해졌습니다. 이를 위한 기존 도구들은 유사한 의미론적 내용을 가진 이미지를 검색하는 데 초점을 맞추고 있습니다. 한편, 많은 예술가들은 텍스트-이미지 모델에서의 스타일 복제 문제에 관심을 가지고 있습니다. 우리는 이미지에서 스타일 디스크립터를 이해하고 추출하기 위한 프레임워크를 제시합니다. 우리의 프레임워크는 스타일이 색상, 질감, 형태 등을 포함하되 이에 국한되지 않는 복잡하면서도 의미 있는 요소들의 상호작용을 포착하는 이미지의 주관적 속성이라는 통찰을 바탕으로 새롭게 구축된 데이터셋을 포함합니다. 또한, 우리는 텍스트-이미지 모델의 훈련 데이터셋에 사용된 이미지들에 생성된 이미지의 스타일을 귀속시킬 수 있는 스타일 디스크립터를 추출하는 방법을 제안합니다. 다양한 스타일 검색 작업에서 유망한 결과를 보여주며, Stable Diffusion 모델에서의 스타일 귀속 및 매칭을 정량적 및 정성적으로 분석합니다. 코드와 관련 자료는 https://github.com/learn2phoenix/CSD에서 확인할 수 있습니다.

English

Generative models are now widely used by graphic designers and artists. Prior works have shown that these models remember and often replicate content from their training data during generation. Hence as their proliferation increases, it has become important to perform a database search to determine whether the properties of the image are attributable to specific training data, every time before a generated image is used for professional purposes. Existing tools for this purpose focus on retrieving images of similar semantic content. Meanwhile, many artists are concerned with style replication in text-to-image models. We present a framework for understanding and extracting style descriptors from images. Our framework comprises a new dataset curated using the insight that style is a subjective property of an image that captures complex yet meaningful interactions of factors including but not limited to colors, textures, shapes, etc. We also propose a method to extract style descriptors that can be used to attribute style of a generated image to the images used in the training dataset of a text-to-image model. We showcase promising results in various style retrieval tasks. We also quantitatively and qualitatively analyze style attribution and matching in the Stable Diffusion model. Code and artifacts are available at https://github.com/learn2phoenix/CSD.