ConceptLab: Творческая генерация с использованием ограничений диффузионного априори

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

Авторы: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

Аннотация

Недавние модели генерации изображений из текста позволили нам преобразовывать слова в яркие, захватывающие образы. Последовавший всплеск методов персонализации также дал возможность представлять уникальные концепции в новых сценах. Однако остается интригующий вопрос: как можно сгенерировать новую, воображаемую концепцию, которую ранее никто не видел? В данной статье мы представляем задачу креативной генерации изображений из текста, где мы стремимся создавать новые элементы широкой категории (например, генерировать питомца, отличающегося от всех существующих). Мы используем малоизученные модели Diffusion Prior и показываем, что проблему креативной генерации можно сформулировать как процесс оптимизации в пространстве выходных данных диффузионного приора, что приводит к набору "ограничений приора". Чтобы предотвратить сходимость нашей сгенерированной концепции к уже существующим элементам, мы включаем модель вопросов и ответов, которая адаптивно добавляет новые ограничения в задачу оптимизации, побуждая модель находить всё более уникальные творения. Наконец, мы демонстрируем, что наши ограничения приора также могут служить мощным механизмом смешивания, позволяя создавать гибриды между сгенерированными концепциями, что вносит ещё больше гибкости в креативный процесс.

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.