ConceptLab : Génération créative par contraintes de priorité de diffusion

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

papers.authors: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

papers.abstract

Les récents modèles génératifs de texte-à-image nous ont permis de transformer nos mots en des images vibrantes et captivantes. L'essor des techniques de personnalisation qui a suivi nous a également permis d'imaginer des concepts uniques dans de nouveaux contextes. Cependant, une question intrigante demeure : comment pouvons-nous générer un nouveau concept imaginaire qui n'a jamais été vu auparavant ? Dans cet article, nous présentons la tâche de génération créative de texte-à-image, où nous cherchons à générer de nouveaux membres d'une catégorie large (par exemple, générer un animal de compagnie qui diffère de tous les animaux de compagnie existants). Nous exploitons les modèles de Diffusion Prior, peu étudiés, et montrons que le problème de génération créative peut être formulé comme un processus d'optimisation sur l'espace de sortie du prior de diffusion, aboutissant à un ensemble de "contraintes de prior". Pour empêcher notre concept généré de converger vers des membres existants, nous intégrons un modèle de question-réponse qui ajoute de manière adaptative de nouvelles contraintes au problème d'optimisation, encourageant le modèle à découvrir des créations de plus en plus uniques. Enfin, nous montrons que nos contraintes de prior peuvent également servir de mécanisme de mélange puissant, nous permettant de créer des hybrides entre les concepts générés, introduisant ainsi encore plus de flexibilité dans le processus créatif.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.