확산 모델로서의 데이터 마이닝 도구

Diffusion Models as Data Mining Tools

July 20, 2024

저자: Ioannis Siglidis, Aleksander Holynski, Alexei A. Efros, Mathieu Aubry, Shiry Ginosar

cs.AI

초록

본 논문은 이미지 합성을 위해 훈련된 생성 모델을 시각 데이터 마이닝 도구로 활용하는 방법을 보여줍니다. 우리의 관찰 결과는 현대적인 생성 모델이 훈련 데이터의 정확한 표현을 학습하기 때문에 시각적 패턴을 발견하여 데이터를 요약하는 데 사용할 수 있다는 것입니다. 구체적으로, 조건부 확산 모델을 세밀 조정하여 특정 데이터셋에서 이미지를 합성한 후, 이러한 모델을 사용하여 해당 데이터셋에 대한 전형성 측정을 정의할 수 있음을 보여줍니다. 이 측정은 지리적 위치, 시간 스탬프, 의미 레이블 또는 심지어 질병의 존재와 같은 다양한 데이터 레이블에 대해 시각적 요소가 얼마나 전형적인지를 평가합니다. 이 데이터 마이닝을 위한 분석-합성 접근 방식은 두 가지 주요 이점을 가지고 있습니다. 첫째, 모든 시각적 요소 쌍을 명시적으로 비교할 필요가 없기 때문에 전통적인 대응 기반 접근 방식보다 훨씬 더 확장 가능합니다. 둘째, 대부분의 이전 시각 데이터 마이닝 작업이 단일 데이터셋에 초점을 맞추는 반면, 우리의 접근 방식은 콘텐츠와 규모 측면에서 다양한 데이터셋에서 작동하며, 역사적인 자동차 데이터셋, 역사적인 얼굴 데이터셋, 대규모 세계 거리-뷰 데이터셋 및 더 큰 장면 데이터셋을 포함합니다. 더 나아가, 우리의 접근 방식은 클래스 레이블 간에 시각적 요소를 번역하고 일관된 변화를 분석할 수 있습니다.

English

This paper demonstrates how to use generative models trained for image synthesis as tools for visual data mining. Our insight is that since contemporary generative models learn an accurate representation of their training data, we can use them to summarize the data by mining for visual patterns. Concretely, we show that after finetuning conditional diffusion models to synthesize images from a specific dataset, we can use these models to define a typicality measure on that dataset. This measure assesses how typical visual elements are for different data labels, such as geographic location, time stamps, semantic labels, or even the presence of a disease. This analysis-by-synthesis approach to data mining has two key advantages. First, it scales much better than traditional correspondence-based approaches since it does not require explicitly comparing all pairs of visual elements. Second, while most previous works on visual data mining focus on a single dataset, our approach works on diverse datasets in terms of content and scale, including a historical car dataset, a historical face dataset, a large worldwide street-view dataset, and an even larger scene dataset. Furthermore, our approach allows for translating visual elements across class labels and analyzing consistent changes.