창조하지 말고 재생하지 마세요! 창의적 생성을 위한 추진 에너지 확산

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

저자: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

초록

본 논문에서는 확산 기반 이미지 생성 모델의 샘플 다양성과 창의성을 향상시키고 훈련 데이터 재현을 방지하는 간단하고 구현하기 쉬운 ProCreate 방법을 제안합니다. ProCreate은 참조 이미지 집합에서 작동하며 생성 프로세스 중에 생성된 이미지 임베딩을 참조 임베딩으로부터 활발하게 이동시킵니다. 우리는 ProCreate이 다양성과 충실도 면에서 가장 우수한 성과를 보이는 여덟 가지 다른 범주(다양한 개념, 스타일 및 설정을 포함)의 소수샷 창의적 생성 데이터셋인 FSCG-8(Few-Shot Creative Generation 8)을 제안합니다. 더불어 ProCreate이 대규모 평가에서 훈련 텍스트 프롬프트를 사용하여 훈련 데이터 복제를 방지하는 데 효과적임을 보여줍니다. 코드 및 FSCG-8은 https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public에서 제공됩니다. 프로젝트 페이지는 https://procreate-diffusion.github.io에서 확인할 수 있습니다.

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.