Descoberta de Conceitos Composicionais Não Supervisionada com Modelos Generativos de Texto para Imagem
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
June 8, 2023
Autores: Nan Liu, Yilun Du, Shuang Li, Joshua B. Tenenbaum, Antonio Torralba
cs.AI
Resumo
Modelos generativos de texto para imagem têm possibilitado a síntese de imagens de alta resolução em diferentes domínios, mas exigem que os usuários especifiquem o conteúdo que desejam gerar. Neste artigo, consideramos o problema inverso — dada uma coleção de diferentes imagens, podemos descobrir os conceitos generativos que representam cada imagem? Apresentamos uma abordagem não supervisionada para descobrir conceitos generativos a partir de uma coleção de imagens, desembaraçando diferentes estilos artísticos em pinturas, objetos e iluminação em cenas de cozinha, e descobrindo classes de imagens a partir de imagens do ImageNet. Mostramos como esses conceitos generativos podem representar com precisão o conteúdo das imagens, ser recombinados e compostos para gerar novas imagens artísticas e híbridas, e ainda serem usados como uma representação para tarefas de classificação subsequentes.
English
Text-to-image generative models have enabled high-resolution image synthesis
across different domains, but require users to specify the content they wish to
generate. In this paper, we consider the inverse problem -- given a collection
of different images, can we discover the generative concepts that represent
each image? We present an unsupervised approach to discover generative concepts
from a collection of images, disentangling different art styles in paintings,
objects, and lighting from kitchen scenes, and discovering image classes given
ImageNet images. We show how such generative concepts can accurately represent
the content of images, be recombined and composed to generate new artistic and
hybrid images, and be further used as a representation for downstream
classification tasks.