ConceptLab: Geração Criativa utilizando Restrições de Prioridade de Difusão

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

Autores: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

Resumo

Modelos recentes de geração de texto para imagem nos permitiram transformar nossas palavras em imagens vibrantes e cativantes. A onda de técnicas de personalização que se seguiu também nos permitiu imaginar conceitos únicos em novas cenas. No entanto, uma questão intrigante permanece: Como podemos gerar um novo conceito imaginário que nunca foi visto antes? Neste artigo, apresentamos a tarefa de geração criativa de texto para imagem, onde buscamos gerar novos membros de uma categoria ampla (por exemplo, gerar um animal de estimação que difere de todos os animais de estimação existentes). Aproveitamos os modelos de Prior de Difusão, pouco estudados, e mostramos que o problema de geração criativa pode ser formulado como um processo de otimização sobre o espaço de saída do prior de difusão, resultando em um conjunto de "restrições de prior". Para evitar que nosso conceito gerado convirja para membros existentes, incorporamos um modelo de perguntas e respostas que adiciona adaptativamente novas restrições ao problema de otimização, incentivando o modelo a descobrir criações cada vez mais únicas. Por fim, mostramos que nossas restrições de prior também podem servir como um forte mecanismo de mistura, permitindo-nos criar híbridos entre conceitos gerados, introduzindo ainda mais flexibilidade no processo criativo.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.