ConceptLab: 拡散事前制約を用いた創造的生成

ConceptLab: Creative Generation using Diffusion Prior Constraints

August 3, 2023

著者: Elad Richardson, Kfir Goldberg, Yuval Alaluf, Daniel Cohen-Or

cs.AI

要旨

最近のテキストから画像を生成するモデルにより、私たちは言葉を鮮やかで魅力的なイメージに変換できるようになりました。それに続くパーソナライゼーション技術の急増により、新しいシーンで独自の概念を想像することも可能になりました。しかし、興味深い疑問が残っています：これまでに見たことのない新しい想像上の概念をどのように生成できるでしょうか？本論文では、創造的なテキストから画像を生成するタスクを提示します。ここでは、広範なカテゴリの新しいメンバー（例えば、既存のペットとは異なるペットを生成する）を生成することを目指します。私たちは、これまであまり研究されていないDiffusion Priorモデルを活用し、創造的生成問題をDiffusion Priorの出力空間における最適化プロセスとして定式化し、一連の「事前制約」を導出します。生成された概念が既存のメンバーに収束しないようにするために、最適化問題に適応的に新しい制約を追加する質問応答モデルを組み込み、モデルがますますユニークな創造物を発見することを促します。最後に、私たちの事前制約が強力な混合メカニズムとしても機能し、生成された概念間のハイブリッドを作成することで、創造的プロセスにさらなる柔軟性を導入できることを示します。

English

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of "prior constraints". To keep our generated concept from converging into existing members, we incorporate a question-answering model that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.