Semantica : Un modèle de diffusion conditionné par l'image et adaptable

Semantica: An Adaptable Image-Conditioned Diffusion Model

May 23, 2024

Auteurs: Manoj Kumar, Neil Houlsby, Emiel Hoogeboom

cs.AI

Résumé

Nous étudions la tâche d'adaptation des modèles génératifs d'images à différents ensembles de données sans ajustement fin. À cette fin, nous présentons Semantica, un modèle de diffusion conditionné par une image, capable de générer des images basées sur la sémantique d'une image de conditionnement. Semantica est entraîné exclusivement sur des paires d'images à l'échelle du web, c'est-à-dire qu'il reçoit une image aléatoire d'une page web comme entrée conditionnelle et modélise une autre image aléatoire de la même page web. Nos expériences mettent en évidence l'expressivité des encodeurs d'images pré-entraînés et la nécessité d'un filtrage des données basé sur la sémantique pour obtenir une génération d'images de haute qualité. Une fois entraîné, il peut générer de manière adaptative de nouvelles images à partir d'un ensemble de données en utilisant simplement des images de cet ensemble comme entrée. Nous étudions les propriétés de transfert de Semantica sur ImageNet, LSUN Churches, LSUN Bedroom et SUN397.

English

We investigate the task of adapting image generative models to different datasets without finetuneing. To this end, we introduce Semantica, an image-conditioned diffusion model capable of generating images based on the semantics of a conditioning image. Semantica is trained exclusively on web-scale image pairs, that is it receives a random image from a webpage as conditional input and models another random image from the same webpage. Our experiments highlight the expressivity of pretrained image encoders and necessity of semantic-based data filtering in achieving high-quality image generation. Once trained, it can adaptively generate new images from a dataset by simply using images from that dataset as input. We study the transfer properties of Semantica on ImageNet, LSUN Churches, LSUN Bedroom and SUN397.