ProCreate, Non Riprodurre! Diffusione Energetica Propulsiva per la Generazione Creativa

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Autori: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Abstract

In questo articolo, proponiamo ProCreate, un metodo semplice e di facile implementazione per migliorare la diversità dei campioni e la creatività dei modelli generativi di immagini basati su diffusione, oltre a prevenire la riproduzione dei dati di addestramento. ProCreate opera su un insieme di immagini di riferimento e spinge attivamente l'embedding dell'immagine generata lontano dagli embedding di riferimento durante il processo di generazione. Proponiamo FSCG-8 (Few-Shot Creative Generation 8), un dataset per la generazione creativa few-shot in otto categorie diverse — che comprendono concetti, stili e contesti vari — in cui ProCreate raggiunge la massima diversità dei campioni e fedeltà. Inoltre, dimostriamo che ProCreate è efficace nel prevenire la replicazione dei dati di addestramento in una valutazione su larga scala utilizzando prompt di testo di addestramento. Il codice e FSCG-8 sono disponibili all'indirizzo https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. La pagina del progetto è disponibile all'indirizzo https://procreate-diffusion.github.io.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.