ConceptLab: Generación creativa mediante restricciones de prior difusa

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

Autores: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

Resumen

Los recientes modelos generativos de texto a imagen nos han permitido transformar nuestras palabras en imágenes vibrantes y cautivadoras. El auge de las técnicas de personalización que ha seguido también nos ha permitido imaginar conceptos únicos en nuevos escenarios. Sin embargo, persiste una pregunta intrigante: ¿Cómo podemos generar un nuevo concepto imaginario que nunca antes se haya visto? En este artículo, presentamos la tarea de generación creativa de texto a imagen, donde buscamos generar nuevos miembros de una categoría amplia (por ejemplo, generar una mascota que difiera de todas las mascotas existentes). Aprovechamos los modelos de Prior de Difusión, poco estudiados, y demostramos que el problema de generación creativa puede formularse como un proceso de optimización sobre el espacio de salida del prior de difusión, lo que resulta en un conjunto de "restricciones de prior". Para evitar que nuestro concepto generado converja en miembros existentes, incorporamos un modelo de pregunta-respuesta que añade adaptativamente nuevas restricciones al problema de optimización, incentivando al modelo a descubrir creaciones cada vez más únicas. Finalmente, mostramos que nuestras restricciones de prior también pueden servir como un mecanismo de mezcla potente, permitiéndonos crear híbridos entre conceptos generados, introduciendo aún más flexibilidad en el proceso creativo.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.