PuLID: Pure en Bliksemsnelle ID-aanpassing via Contrastieve Uitlijning

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Auteurs: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Samenvatting

Wij stellen Pure and Lightning ID customization (PuLID) voor, een nieuwe, afstemningsvrije methode voor ID-aanpassing in tekst-naar-beeldgeneratie. Door een Lightning T2I-tak te integreren met een standaard diffusietak, introduceert PuLID zowel een contrastieve uitlijningsverliesfunctie als een nauwkeurige ID-verliesfunctie, waardoor verstoring van het oorspronkelijke model wordt geminimaliseerd en een hoge ID-getrouwheid wordt gegarandeerd. Experimenten tonen aan dat PuLID superieure prestaties levert op het gebied van zowel ID-getrouwheid als bewerkbaarheid. Een ander aantrekkelijk kenmerk van PuLID is dat de beeld-elementen (bijvoorbeeld achtergrond, belichting, compositie en stijl) voor en na de ID-invoeging zo consistent mogelijk blijven. Codes en modellen zullen beschikbaar zijn op https://github.com/ToTheBeginning/PuLID.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID