PALP：テキストから画像生成モデルのプロンプト整合型パーソナライゼーション

要旨

コンテンツクリエイターは、従来のテキストから画像へのモデルの能力を超えた、個人の被写体を用いたパーソナライズされた画像の作成を目指すことが多い。さらに、生成された画像が特定の場所、スタイル、雰囲気などを包含することを望む場合もある。既存のパーソナライゼーション手法では、パーソナライゼーション能力や複雑なテキストプロンプトとの整合性が損なわれる可能性がある。このトレードオフは、ユーザープロンプトの実現や被写体の忠実度を妨げる要因となり得る。我々は、この問題に対処するため、単一のプロンプトに焦点を当てた新しいパーソナライゼーション手法を提案する。我々はこのアプローチを「プロンプト整合型パーソナライゼーション」と呼ぶ。これは制限的に見えるかもしれないが、我々の手法はテキストの整合性を向上させることに優れており、現在の技術では難しい複雑で入り組んだプロンプトを用いた画像の作成を可能にする。特に、我々の手法は、追加のスコア蒸留サンプリング項を用いて、パーソナライズされたモデルをターゲットプロンプトと整合させたままにする。我々は、マルチショットおよびシングルショット設定における手法の汎用性を示し、さらに、複数の被写体を組み合わせたり、芸術作品などの参照画像からインスピレーションを得たりできることを示す。我々のアプローチを、既存のベースラインや最先端技術と定量的・定性的に比較する。

English

Content creators often aim to create personalized images using personal subjects that go beyond the capabilities of conventional text-to-image models. Additionally, they may want the resulting image to encompass a specific location, style, ambiance, and more. Existing personalization methods may compromise personalization ability or the alignment to complex textual prompts. This trade-off can impede the fulfillment of user prompts and subject fidelity. We propose a new approach focusing on personalization methods for a single prompt to address this issue. We term our approach prompt-aligned personalization. While this may seem restrictive, our method excels in improving text alignment, enabling the creation of images with complex and intricate prompts, which may pose a challenge for current techniques. In particular, our method keeps the personalized model aligned with a target prompt using an additional score distillation sampling term. We demonstrate the versatility of our method in multi- and single-shot settings and further show that it can compose multiple subjects or use inspiration from reference images, such as artworks. We compare our approach quantitatively and qualitatively with existing baselines and state-of-the-art techniques.

PALP：テキストから画像生成モデルのプロンプト整合型パーソナライゼーション

PALP: Prompt Aligned Personalization of Text-to-Image Models

要旨

Support