Procriar, Não Reproduzir! Difusão de Energia Propulsiva para Geração Criativa

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Autores: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Resumo

Neste artigo, propomos o ProCreate, um método simples e fácil de implementar para melhorar a diversidade e criatividade de amostras de modelos gerativos de imagens baseados em difusão e para evitar a reprodução de dados de treinamento. O ProCreate opera em um conjunto de imagens de referência e impulsiona ativamente a incorporação da imagem gerada para longe das incorporações de referência durante o processo de geração. Propomos o FSCG-8 (Geração Criativa de Poucas Amostras 8), um conjunto de dados de geração criativa de poucas amostras em oito categorias diferentes -- abrangendo diferentes conceitos, estilos e configurações -- no qual o ProCreate alcança a maior diversidade e fidelidade de amostras. Além disso, demonstramos que o ProCreate é eficaz na prevenção da replicação de dados de treinamento em uma avaliação em grande escala usando prompts de texto de treinamento. O código e o FSCG-8 estão disponíveis em https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. A página do projeto está disponível em https://procreate-diffusion.github.io.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.