データマイニングツールとしての拡散モデル

Diffusion Models as Data Mining Tools

July 20, 2024

著者: Ioannis Siglidis, Aleksander Holynski, Alexei A. Efros, Mathieu Aubry, Shiry Ginosar

cs.AI

要旨

本論文では、画像合成のために訓練された生成モデルを視覚的データマイニングのツールとして活用する方法を実証する。我々の洞察は、現代の生成モデルがその訓練データの正確な表現を学習するため、視覚的パターンをマイニングすることでデータを要約するためにこれらのモデルを利用できるという点にある。具体的には、特定のデータセットから画像を合成するために条件付き拡散モデルをファインチューニングした後、これらのモデルを使用してそのデータセット上の典型性尺度を定義できることを示す。この尺度は、地理的位置、タイムスタンプ、意味的ラベル、あるいは疾患の有無など、異なるデータラベルに対して視覚的要素がどれほど典型的であるかを評価する。この合成による分析アプローチは、データマイニングにおいて二つの重要な利点を持つ。第一に、従来の対応関係に基づくアプローチと比較して、すべての視覚的要素のペアを明示的に比較する必要がないため、スケーラビリティが大幅に向上する。第二に、これまでの視覚的データマイニングに関する研究の多くは単一のデータセットに焦点を当てているが、我々のアプローチは内容や規模において多様なデータセットに適用可能であり、歴史的な車のデータセット、歴史的な顔のデータセット、大規模な世界規模のストリートビューデータセット、さらに大規模なシーンデータセットを含む。さらに、我々のアプローチは、クラスラベル間で視覚的要素を翻訳し、一貫した変化を分析することを可能にする。

English

This paper demonstrates how to use generative models trained for image synthesis as tools for visual data mining. Our insight is that since contemporary generative models learn an accurate representation of their training data, we can use them to summarize the data by mining for visual patterns. Concretely, we show that after finetuning conditional diffusion models to synthesize images from a specific dataset, we can use these models to define a typicality measure on that dataset. This measure assesses how typical visual elements are for different data labels, such as geographic location, time stamps, semantic labels, or even the presence of a disease. This analysis-by-synthesis approach to data mining has two key advantages. First, it scales much better than traditional correspondence-based approaches since it does not require explicitly comparing all pairs of visual elements. Second, while most previous works on visual data mining focus on a single dataset, our approach works on diverse datasets in terms of content and scale, including a historical car dataset, a historical face dataset, a large worldwide street-view dataset, and an even larger scene dataset. Furthermore, our approach allows for translating visual elements across class labels and analyzing consistent changes.