ProCreëer, Niet Reproduceer! Propulsieve Energiediffusie voor Creatieve Generatie

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Auteurs: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Samenvatting

In dit artikel stellen we ProCreate voor, een eenvoudige en gemakkelijk te implementeren methode om de steekproefdiversiteit en creativiteit van diffusiegebaseerde beeldgeneratieve modellen te verbeteren en de reproductie van trainingsdata te voorkomen. ProCreate werkt op een set referentiebeelden en stuwt de gegenereerde beeldembedding actief weg van de referentie-embeddingen tijdens het generatieproces. We introduceren FSCG-8 (Few-Shot Creative Generation 8), een few-shot creatieve generatiedataset met acht verschillende categorieën – die verschillende concepten, stijlen en settings omvatten – waarin ProCreate de hoogste steekproefdiversiteit en -getrouwheid bereikt. Bovendien tonen we aan dat ProCreate effectief is in het voorkomen van het repliceren van trainingsdata in een grootschalige evaluatie met behulp van trainings tekstprompts. De code en FSCG-8 zijn beschikbaar op https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. De projectpagina is beschikbaar op https://procreate-diffusion.github.io.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.