SSR-Encoder: 選択的対象表現のエンコーディングによる対象駆動型生成

要旨

最近の主題駆動型画像生成の進展により、ゼロショット生成が可能となったが、重要な主題表現の正確な選択と焦点化は依然として課題である。この問題に対処するため、我々はSSR-Encoderを提案する。これは、単一または複数の参照画像から任意の主題を選択的に捕捉するために設計された新しいアーキテクチャである。SSR-Encoderは、テキストやマスクを含む様々なクエリモダリティに対応し、テスト時のファインチューニングを必要としない。SSR-Encoderは、クエリ入力を画像パッチと整合させるToken-to-Patch Alignerと、主題の細部特徴を抽出・保存するDetail-Preserving Subject Encoderを組み合わせており、これにより主題の埋め込みを生成する。これらの埋め込みは、元のテキスト埋め込みと組み合わせて生成プロセスを条件付ける。モデルの汎用性と効率性を特徴とするSSR-Encoderは、様々なカスタムモデルや制御モジュールに適応する。訓練を改善するためのEmbedding Consistency Regularization Lossによって強化され、我々の広範な実験は、多様で高品質な画像生成におけるその有効性を示し、幅広い適用可能性を示唆している。プロジェクトページ: https://ssr-encoder.github.io

English

Recent advancements in subject-driven image generation have led to zero-shot generation, yet precise selection and focus on crucial subject representations remain challenging. Addressing this, we introduce the SSR-Encoder, a novel architecture designed for selectively capturing any subject from single or multiple reference images. It responds to various query modalities including text and masks, without necessitating test-time fine-tuning. The SSR-Encoder combines a Token-to-Patch Aligner that aligns query inputs with image patches and a Detail-Preserving Subject Encoder for extracting and preserving fine features of the subjects, thereby generating subject embeddings. These embeddings, used in conjunction with original text embeddings, condition the generation process. Characterized by its model generalizability and efficiency, the SSR-Encoder adapts to a range of custom models and control modules. Enhanced by the Embedding Consistency Regularization Loss for improved training, our extensive experiments demonstrate its effectiveness in versatile and high-quality image generation, indicating its broad applicability. Project page: https://ssr-encoder.github.io

SSR-Encoder: 選択的対象表現のエンコーディングによる対象駆動型生成

SSR-Encoder: Encoding Selective Subject Representation for Subject-Driven Generation

要旨

Support