Проявляйте творчество, не воспроизводите! Пропульсивное распространение энергии для творческой генерации.

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Авторы: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Аннотация

В данной статье мы предлагаем ProCreate - простой и легко реализуемый метод для улучшения разнообразия и креативности образцов в диффузионных генеративных моделях изображений и предотвращения воспроизведения обучающих данных. ProCreate оперирует на наборе опорных изображений и активно удаляет встроенное изображение, генерируемое в процессе, от встроенных опорных изображений. Мы предлагаем FSCG-8 (Few-Shot Creative Generation 8) - набор данных для креативной генерации с небольшим числом примеров по восьми различным категориям, охватывающим различные концепции, стили и настройки, в котором ProCreate достигает наивысшего разнообразия и достоверности образцов. Кроме того, мы показываем, что ProCreate эффективен в предотвращении воспроизведения обучающих данных в крупномасштабной оценке с использованием обучающих текстовых подсказок. Код и FSCG-8 доступны по ссылке https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. Страница проекта доступна по адресу https://procreate-diffusion.github.io.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.