Diffusionsmodelle als Werkzeuge für das Data Mining.

Diffusion Models as Data Mining Tools

July 20, 2024

Autoren: Ioannis Siglidis, Aleksander Holynski, Alexei A. Efros, Mathieu Aubry, Shiry Ginosar

cs.AI

Zusammenfassung

Dieses Papier zeigt auf, wie generative Modelle, die für die Bildsynthese trainiert wurden, als Werkzeuge für das visuelle Daten-Mining eingesetzt werden können. Unsere Erkenntnis besteht darin, dass zeitgenössische generative Modelle eine genaue Darstellung ihrer Trainingsdaten erlernen, und wir sie daher nutzen können, um die Daten zu summarisieren, indem wir nach visuellen Mustern suchen. Konkret zeigen wir, dass wir nach Feinabstimmung von bedingten Diffusionsmodellen zur Synthese von Bildern aus einem bestimmten Datensatz diese Modelle verwenden können, um ein typisches Maß für diesen Datensatz zu definieren. Dieses Maß bewertet, wie typisch visuelle Elemente für verschiedene Datenetiketten sind, wie z.B. geografischer Standort, Zeitstempel, semantische Etiketten oder sogar das Vorhandensein einer Krankheit. Dieser Analyse-durch-Synthese-Ansatz für das Daten-Mining hat zwei wesentliche Vorteile. Erstens skaliert er viel besser als traditionelle korrespondenzbasierte Ansätze, da er nicht erfordert, explizit alle Paare von visuellen Elementen zu vergleichen. Zweitens, während die meisten früheren Arbeiten zum visuellen Daten-Mining sich auf einen einzigen Datensatz konzentrieren, funktioniert unser Ansatz mit vielfältigen Datensätzen in Bezug auf Inhalt und Umfang, einschließlich eines historischen Autodatensatzes, eines historischen Gesichtsdatensatzes, eines großen weltweiten Straßenansichtdatensatzes und eines noch größeren Szenendatensatzes. Darüber hinaus ermöglicht unser Ansatz die Übersetzung von visuellen Elementen über Klassenetiketten hinweg und die Analyse konsistenter Veränderungen.

English

This paper demonstrates how to use generative models trained for image synthesis as tools for visual data mining. Our insight is that since contemporary generative models learn an accurate representation of their training data, we can use them to summarize the data by mining for visual patterns. Concretely, we show that after finetuning conditional diffusion models to synthesize images from a specific dataset, we can use these models to define a typicality measure on that dataset. This measure assesses how typical visual elements are for different data labels, such as geographic location, time stamps, semantic labels, or even the presence of a disease. This analysis-by-synthesis approach to data mining has two key advantages. First, it scales much better than traditional correspondence-based approaches since it does not require explicitly comparing all pairs of visual elements. Second, while most previous works on visual data mining focus on a single dataset, our approach works on diverse datasets in terms of content and scale, including a historical car dataset, a historical face dataset, a large worldwide street-view dataset, and an even larger scene dataset. Furthermore, our approach allows for translating visual elements across class labels and analyzing consistent changes.