ConceptLab: Creatieve Generatie met Diffusie Prior Beperkingen
ConceptLab: Creative Generation using Diffusion Prior Constraints
August 3, 2023
Auteurs: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or
cs.AI
Samenvatting
Recente tekst-naar-beeld generatieve modellen hebben het mogelijk gemaakt om onze woorden om te zetten in levendige, boeiende beelden. De opkomst van personalisatietechnieken die daarop volgde, heeft ons ook in staat gesteld om unieke concepten in nieuwe scènes te verbeelden. Een intrigerende vraag blijft echter: Hoe kunnen we een nieuw, denkbeeldig concept genereren dat nog nooit eerder is gezien? In dit artikel presenteren we de taak van creatieve tekst-naar-beeld generatie, waarbij we streven naar het genereren van nieuwe leden van een brede categorie (bijvoorbeeld het genereren van een huisdier dat verschilt van alle bestaande huisdieren). We maken gebruik van de onderbelichte Diffusion Prior-modellen en laten zien dat het creatieve generatieprobleem kan worden geformuleerd als een optimalisatieproces over de uitvoerruimte van de diffusion prior, wat resulteert in een set van "prior constraints". Om te voorkomen dat ons gegenereerde concept convergeert naar bestaande leden, integreren we een vraag-antwoordmodel dat adaptief nieuwe constraints toevoegt aan het optimalisatieprobleem, waardoor het model wordt aangemoedigd om steeds uniekere creaties te ontdekken. Tot slot laten we zien dat onze prior constraints ook kunnen dienen als een sterk mengmechanisme, waardoor we hybriden kunnen creëren tussen gegenereerde concepten, wat nog meer flexibiliteit introduceert in het creatieve proces.
English
Recent text-to-image generative models have enabled us to transform our words
into vibrant, captivating imagery. The surge of personalization techniques that
has followed has also allowed us to imagine unique concepts in new scenes.
However, an intriguing question remains: How can we generate a new, imaginary
concept that has never been seen before? In this paper, we present the task of
creative text-to-image generation, where we seek to generate new members of a
broad category (e.g., generating a pet that differs from all existing pets). We
leverage the under-studied Diffusion Prior models and show that the creative
generation problem can be formulated as an optimization process over the output
space of the diffusion prior, resulting in a set of "prior constraints". To
keep our generated concept from converging into existing members, we
incorporate a question-answering model that adaptively adds new constraints to
the optimization problem, encouraging the model to discover increasingly more
unique creations. Finally, we show that our prior constraints can also serve as
a strong mixing mechanism allowing us to create hybrids between generated
concepts, introducing even more flexibility into the creative process.