ProCréez, Ne Reproduisez Pas ! Diffusion d'Énergie Propulsive pour une Génération Créative

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Auteurs: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Résumé

Dans cet article, nous proposons ProCreate, une méthode simple et facile à mettre en œuvre pour améliorer la diversité des échantillons et la créativité des modèles génératifs d'images basés sur la diffusion, tout en empêchant la reproduction des données d'entraînement. ProCreate opère sur un ensemble d'images de référence et pousse activement l'embedding de l'image générée à s'éloigner des embeddings de référence pendant le processus de génération. Nous proposons FSCG-8 (Few-Shot Creative Generation 8), un ensemble de données de génération créative en few-shot couvrant huit catégories différentes — englobant divers concepts, styles et contextes — dans lequel ProCreate atteint la plus grande diversité d'échantillons et fidélité. De plus, nous montrons que ProCreate est efficace pour empêcher la réplication des données d'entraînement dans une évaluation à grande échelle utilisant des prompts textuels d'entraînement. Le code et FSCG-8 sont disponibles à l'adresse https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. La page du projet est accessible à l'adresse https://procreate-diffusion.github.io.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.