PuLID : Personnalisation d'identité pure et rapide via alignement contrastif

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Auteurs: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Résumé

Nous proposons PuLID (Pure and Lightning ID Customization), une nouvelle méthode de personnalisation d'identité sans réglage pour la génération d'images à partir de texte. En intégrant une branche Lightning T2I avec une branche de diffusion standard, PuLID introduit à la fois une perte d'alignement contrastive et une perte d'identité précise, minimisant ainsi les perturbations du modèle original et garantissant une fidélité élevée à l'identité. Les expériences montrent que PuLID obtient des performances supérieures en termes de fidélité à l'identité et de capacité d'édition. Une autre propriété attrayante de PuLID est que les éléments de l'image (par exemple, l'arrière-plan, l'éclairage, la composition et le style) avant et après l'insertion de l'identité sont maintenus aussi cohérents que possible. Les codes et modèles seront disponibles à l'adresse suivante : https://github.com/ToTheBeginning/PuLID.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID