Unüberwachte Entdeckung kompositioneller Konzepte mit Text-zu-Bild-Generativmodellen
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
June 8, 2023
Autoren: Nan Liu, Yilun Du, Shuang Li, Joshua B. Tenenbaum, Antonio Torralba
cs.AI
Zusammenfassung
Text-to-Image-Generativmodelle ermöglichen die Synthese hochauflösender Bilder in verschiedenen Domänen, erfordern jedoch, dass Benutzer den Inhalt spezifizieren, den sie generieren möchten. In diesem Artikel betrachten wir das umgekehrte Problem – gegeben eine Sammlung verschiedener Bilder, können wir die generativen Konzepte entdecken, die jedes Bild repräsentieren? Wir präsentieren einen unüberwachten Ansatz, um generative Konzepte aus einer Bildersammlung zu entdecken, der verschiedene Kunststile in Gemälden, Objekte und Beleuchtung in Küchenszenen entwirrt und Bildklassen bei ImageNet-Bildern identifiziert. Wir zeigen, wie solche generativen Konzepte den Inhalt von Bildern präzise repräsentieren, neu kombiniert und zusammengesetzt werden können, um neue künstlerische und hybride Bilder zu erzeugen, und weiterhin als Repräsentation für nachgelagerte Klassifikationsaufgaben verwendet werden können.
English
Text-to-image generative models have enabled high-resolution image synthesis
across different domains, but require users to specify the content they wish to
generate. In this paper, we consider the inverse problem -- given a collection
of different images, can we discover the generative concepts that represent
each image? We present an unsupervised approach to discover generative concepts
from a collection of images, disentangling different art styles in paintings,
objects, and lighting from kitchen scenes, and discovering image classes given
ImageNet images. We show how such generative concepts can accurately represent
the content of images, be recombined and composed to generate new artistic and
hybrid images, and be further used as a representation for downstream
classification tasks.