Infinite-ID: IDセマンティクス分離パラダイムによるアイデンティティ保存型パーソナライゼーション

Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm

March 18, 2024

著者: Yi Wu, Ziqiang Li, Heliang Zheng, Chaoyue Wang, Bin Li

cs.AI

要旨

テキストから画像を生成するための拡散モデルの最近の進展を踏まえ、アイデンティティ保存型パーソナライゼーションは、単一の参照画像を用いて特定のアイデンティティを正確に捉えることに大きな進歩を遂げています。しかし、既存の手法は主に参照画像をテキスト埋め込み空間内に統合しており、画像情報とテキスト情報が複雑に絡み合うため、アイデンティティの忠実度と意味的一貫性の両方を維持することが困難です。この課題に対処するため、我々はInfinite-IDを提案します。これは、アイデンティティ保存型パーソナライゼーションのためのID-意味論分離パラダイムです。具体的には、拡散モデルの元のテキストクロスアテンションモジュールを無効化しつつ、十分なID情報を捕捉するために追加の画像クロスアテンションモジュールを組み込んだアイデンティティ強化トレーニングを導入します。これにより、画像ストリームが参照画像から提供されるアイデンティティを忠実に表現しつつ、テキスト入力からの干渉を軽減します。さらに、混合アテンションモジュールとAdaIN-mean操作を組み合わせた特徴相互作用メカニズムを導入し、二つのストリームをシームレスに統合します。このメカニズムは、アイデンティティの忠実度と意味的一貫性を向上させるだけでなく、生成画像のスタイルを容易に制御することを可能にします。生写真生成とスタイル画像生成の両方における広範な実験結果は、提案手法の優れた性能を実証しています。

English

Drawing on recent advancements in diffusion models for text-to-image generation, identity-preserved personalization has made significant progress in accurately capturing specific identities with just a single reference image. However, existing methods primarily integrate reference images within the text embedding space, leading to a complex entanglement of image and text information, which poses challenges for preserving both identity fidelity and semantic consistency. To tackle this challenge, we propose Infinite-ID, an ID-semantics decoupling paradigm for identity-preserved personalization. Specifically, we introduce identity-enhanced training, incorporating an additional image cross-attention module to capture sufficient ID information while deactivating the original text cross-attention module of the diffusion model. This ensures that the image stream faithfully represents the identity provided by the reference image while mitigating interference from textual input. Additionally, we introduce a feature interaction mechanism that combines a mixed attention module with an AdaIN-mean operation to seamlessly merge the two streams. This mechanism not only enhances the fidelity of identity and semantic consistency but also enables convenient control over the styles of the generated images. Extensive experimental results on both raw photo generation and style image generation demonstrate the superior performance of our proposed method.