PuLID: コントラストアラインメントによる純粋かつ高速なIDカスタマイズ

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

著者: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

要旨

本研究では、テキストから画像を生成するための新しいチューニング不要なIDカスタマイズ手法であるPure and Lightning ID customization (PuLID)を提案します。PuLIDは、標準的な拡散モデルにLightning T2Iブランチを組み込むことで、コントラスティブアライメント損失と正確なID損失の両方を導入し、元のモデルへの影響を最小限に抑えつつ高いID忠実度を確保します。実験結果から、PuLIDはID忠実度と編集可能性の両方で優れた性能を発揮することが示されています。さらにPuLIDの魅力的な特性として、ID挿入前後の画像要素（背景、照明、構図、スタイルなど）が可能な限り一貫して保たれる点が挙げられます。コードとモデルはhttps://github.com/ToTheBeginning/PuLIDで公開予定です。

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID