¡Crear, no reproducir! Difusión de energía propulsiva para la generación creativa

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

Autores: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

Resumen

En este artículo, proponemos ProCreate, un método simple y fácil de implementar para mejorar la diversidad y creatividad de muestras de modelos generativos de imágenes basados en difusión, y para prevenir la reproducción de datos de entrenamiento. ProCreate opera en un conjunto de imágenes de referencia y impulsa activamente el incrustado de la imagen generada lejos de los incrustados de referencia durante el proceso de generación. Proponemos FSCG-8 (Generación Creativa de Pocas Muestras 8), un conjunto de datos de generación creativa de pocas muestras en ocho categorías diferentes, que abarcan diferentes conceptos, estilos y configuraciones, en el cual ProCreate logra la mayor diversidad y fidelidad de muestras. Además, demostramos que ProCreate es efectivo para evitar la replicación de datos de entrenamiento en una evaluación a gran escala utilizando indicaciones de texto de entrenamiento. El código y FSCG-8 están disponibles en https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. La página del proyecto está disponible en https://procreate-diffusion.github.io.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.