Onbewaakte Ontdekking van Compositionele Concepten met Text-to-Image Generatieve Modellen
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
June 8, 2023
Auteurs: Nan Liu, Yilun Du, Shuang Li, Joshua B. Tenenbaum, Antonio Torralba
cs.AI
Samenvatting
Text-to-image generatieve modellen hebben hoogwaardige beeldgeneratie mogelijk gemaakt
over verschillende domeinen, maar vereisen dat gebruikers de inhoud specificeren die ze willen
genereren. In dit artikel beschouwen we het omgekeerde probleem -- gegeven een verzameling
van verschillende afbeeldingen, kunnen we de generatieve concepten ontdekken die elke
afbeelding vertegenwoordigen? We presenteren een onbewaakte aanpak om generatieve concepten
te ontdekken uit een verzameling afbeeldingen, waarbij verschillende kunststijlen in schilderijen,
objecten en belichting uit keukenscènes worden ontward, en beeldklassen worden ontdekt bij
ImageNet-afbeeldingen. We laten zien hoe dergelijke generatieve concepten de inhoud van
afbeeldingen nauwkeurig kunnen weergeven, kunnen worden gecombineerd en samengesteld om
nieuwe artistieke en hybride afbeeldingen te genereren, en verder kunnen worden gebruikt als
een representatie voor downstream classificatietaken.
English
Text-to-image generative models have enabled high-resolution image synthesis
across different domains, but require users to specify the content they wish to
generate. In this paper, we consider the inverse problem -- given a collection
of different images, can we discover the generative concepts that represent
each image? We present an unsupervised approach to discover generative concepts
from a collection of images, disentangling different art styles in paintings,
objects, and lighting from kitchen scenes, and discovering image classes given
ImageNet images. We show how such generative concepts can accurately represent
the content of images, be recombined and composed to generate new artistic and
hybrid images, and be further used as a representation for downstream
classification tasks.