ConceptLab: Kreative Generierung durch Diffusions-Prioritätsbeschränkungen

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

papers.authors: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

papers.abstract

Aktuelle Text-zu-Bild-Generierungsmodelle ermöglichen es uns, unsere Worte in lebendige, fesselnde Bilder zu verwandeln. Der anschließende Aufschwung von Personalisierungstechniken hat es uns zudem erlaubt, einzigartige Konzepte in neuen Szenarien zu imaginieren. Dennoch bleibt eine faszinierende Frage offen: Wie können wir ein neues, imaginäres Konzept generieren, das noch nie zuvor gesehen wurde? In diesem Artikel stellen wir die Aufgabe der kreativen Text-zu-Bild-Generierung vor, bei der wir neue Mitglieder einer breiten Kategorie erzeugen möchten (z. B. ein Haustier, das sich von allen existierenden Haustieren unterscheidet). Wir nutzen die bisher wenig erforschten Diffusion-Prior-Modelle und zeigen, dass das Problem der kreativen Generierung als Optimierungsprozess über den Ausgaberaum des Diffusion-Priors formuliert werden kann, was zu einer Reihe von „Prior-Beschränkungen“ führt. Um zu verhindern, dass unser generiertes Konzept in bestehende Mitglieder konvergiert, integrieren wir ein Frage-Antwort-Modell, das adaptiv neue Beschränkungen zum Optimierungsproblem hinzufügt und das Modell dazu anregt, zunehmend einzigartigere Kreationen zu entdecken. Schließlich zeigen wir, dass unsere Prior-Beschränkungen auch als starkes Mischungsmechanismus dienen können, der es uns ermöglicht, Hybride zwischen generierten Konzepten zu erstellen und damit noch mehr Flexibilität in den kreativen Prozess einzubringen.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.