ConceptLab: Generazione Creativa mediante Vincoli di Priorità Diffusa

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

Autori: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

Abstract

I recenti modelli generativi testo-immagine ci hanno permesso di trasformare le nostre parole in immagini vivaci e accattivanti. L'ondata di tecniche di personalizzazione che ne è seguita ci ha anche consentito di immaginare concetti unici in nuovi contesti. Tuttavia, rimane una domanda intrigante: come possiamo generare un nuovo concetto immaginario che non è mai stato visto prima? In questo articolo, presentiamo il compito della generazione creativa testo-immagine, in cui cerchiamo di generare nuovi membri di una categoria ampia (ad esempio, generare un animale domestico che differisce da tutti quelli esistenti). Sfruttiamo i modelli Diffusion Prior, poco studiati, e dimostriamo che il problema della generazione creativa può essere formulato come un processo di ottimizzazione sullo spazio di output del diffusion prior, risultando in un insieme di "vincoli di priorità". Per evitare che il nostro concetto generato converga in membri esistenti, incorporiamo un modello di domanda-risposta che aggiunge in modo adattivo nuovi vincoli al problema di ottimizzazione, incoraggiando il modello a scoprire creazioni sempre più uniche. Infine, dimostriamo che i nostri vincoli di priorità possono anche servire come un forte meccanismo di miscelazione, permettendoci di creare ibridi tra concetti generati, introducendo ancora più flessibilità nel processo creativo.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.