Descubrimiento de Conceptos Composicionales No Supervisados con Modelos Generativos de Texto a Imagen
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
June 8, 2023
Autores: Nan Liu, Yilun Du, Shuang Li, Joshua B. Tenenbaum, Antonio Torralba
cs.AI
Resumen
Los modelos generativos de texto a imagen han permitido la síntesis de imágenes de alta resolución en diferentes dominios, pero requieren que los usuarios especifiquen el contenido que desean generar. En este artículo, consideramos el problema inverso: dada una colección de imágenes diferentes, ¿podemos descubrir los conceptos generativos que representan cada imagen? Presentamos un enfoque no supervisado para descubrir conceptos generativos a partir de una colección de imágenes, desentrañando diferentes estilos artísticos en pinturas, objetos e iluminación en escenas de cocina, y descubriendo clases de imágenes dadas imágenes de ImageNet. Mostramos cómo dichos conceptos generativos pueden representar con precisión el contenido de las imágenes, recombinarse y componerse para generar nuevas imágenes artísticas e híbridas, y utilizarse además como una representación para tareas de clasificación posteriores.
English
Text-to-image generative models have enabled high-resolution image synthesis
across different domains, but require users to specify the content they wish to
generate. In this paper, we consider the inverse problem -- given a collection
of different images, can we discover the generative concepts that represent
each image? We present an unsupervised approach to discover generative concepts
from a collection of images, disentangling different art styles in paintings,
objects, and lighting from kitchen scenes, and discovering image classes given
ImageNet images. We show how such generative concepts can accurately represent
the content of images, be recombined and composed to generate new artistic and
hybrid images, and be further used as a representation for downstream
classification tasks.