Независимое обнаружение композиционных концепций с использованием генеративных моделей "текст-изображение"
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
June 8, 2023
Авторы: Nan Liu, Yilun Du, Shuang Li, Joshua B. Tenenbaum, Antonio Torralba
cs.AI
Аннотация
Генеративные модели для создания изображений по текстовому описанию позволяют синтезировать изображения высокого разрешения в различных областях, но требуют от пользователей указания контента, который они хотят создать. В данной работе мы рассматриваем обратную задачу — можно ли, имея набор различных изображений, обнаружить генеративные концепции, которые представляют каждое изображение? Мы предлагаем неконтролируемый подход для обнаружения генеративных концепций из набора изображений, разделяя различные художественные стили в картинах, объекты и освещение в сценах кухни, а также обнаруживая классы изображений на основе данных ImageNet. Мы показываем, как такие генеративные концепции могут точно представлять содержание изображений, быть перекомбинированы и использованы для создания новых художественных и гибридных изображений, а также служить представлением для последующих задач классификации.
English
Text-to-image generative models have enabled high-resolution image synthesis
across different domains, but require users to specify the content they wish to
generate. In this paper, we consider the inverse problem -- given a collection
of different images, can we discover the generative concepts that represent
each image? We present an unsupervised approach to discover generative concepts
from a collection of images, disentangling different art styles in paintings,
objects, and lighting from kitchen scenes, and discovering image classes given
ImageNet images. We show how such generative concepts can accurately represent
the content of images, be recombined and composed to generate new artistic and
hybrid images, and be further used as a representation for downstream
classification tasks.