ProCreate、Reproduceするな！創造的生成のための推進的エネルギー拡散

ProCreate, Dont Reproduce! Propulsive Energy Diffusion for Creative Generation

August 5, 2024

著者: Jack Lu, Ryan Teehan, Mengye Ren

cs.AI

要旨

本論文では、拡散モデルに基づく画像生成モデルのサンプル多様性と創造性を向上させ、学習データの再現を防ぐためのシンプルで実装が容易な手法「ProCreate」を提案します。ProCreateは、参照画像セットに対して動作し、生成プロセス中に生成画像の埋め込みを参照埋め込みから積極的に遠ざけます。我々は、8つの異なるカテゴリ（異なる概念、スタイル、設定を含む）におけるFew-Shot Creative Generationデータセット「FSCG-8」を提案し、ProCreateが最高のサンプル多様性と忠実度を達成することを示します。さらに、大規模な評価において、ProCreateが学習テキストプロンプトを使用した場合の学習データの複製を効果的に防ぐことを実証します。コードとFSCG-8はhttps://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-publicで公開されており、プロジェクトページはhttps://procreate-diffusion.github.ioで閲覧可能です。

English

In this paper, we propose ProCreate, a simple and easy-to-implement method to improve sample diversity and creativity of diffusion-based image generative models and to prevent training data reproduction. ProCreate operates on a set of reference images and actively propels the generated image embedding away from the reference embeddings during the generation process. We propose FSCG-8 (Few-Shot Creative Generation 8), a few-shot creative generation dataset on eight different categories -- encompassing different concepts, styles, and settings -- in which ProCreate achieves the highest sample diversity and fidelity. Furthermore, we show that ProCreate is effective at preventing replicating training data in a large-scale evaluation using training text prompts. Code and FSCG-8 are available at https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public. The project page is available at https://procreate-diffusion.github.io.