Erzeugen, nicht reproduzieren! Antriebsenergieverteilung für kreative Generierung

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Autoren: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Zusammenfassung

In diesem Paper schlagen wir ProCreate vor, eine einfache und leicht umzusetzende Methode zur Verbesserung der Stichprobenvielfalt und Kreativität von diffusionsbasierten generativen Bildmodellen vor und zur Verhinderung der Reproduktion von Trainingsdaten. ProCreate arbeitet mit einer Reihe von Referenzbildern und treibt den generierten Bildembedding aktiv von den Referenz-Embeddings während des Generierungsprozesses weg. Wir schlagen FSCG-8 (Few-Shot Creative Generation 8) vor, einen Few-Shot-Kreativgenerierungsdatensatz in acht verschiedenen Kategorien - die verschiedene Konzepte, Stile und Einstellungen umfassen - in dem ProCreate die höchste Stichprobenvielfalt und -treue erreicht. Darüber hinaus zeigen wir, dass ProCreate wirksam ist, um die Replikation von Trainingsdaten in einer groß angelegten Evaluation unter Verwendung von Trainings-Textvorgaben zu verhindern. Code und FSCG-8 sind verfügbar unter https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. Die Projektseite ist unter https://procreate-diffusion.github.io verfügbar.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.