PuLID: Personalizzazione Rapida e Pura degli ID tramite Allineamento Contrastivo

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Autori: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Abstract

Proponiamo Pure and Lightning ID customization (PuLID), un nuovo metodo di personalizzazione ID senza tuning per la generazione di immagini da testo. Integrando un ramo Lightning T2I con uno standard di diffusione, PuLID introduce sia una perdita di allineamento contrastivo che una perdita ID accurata, minimizzando le perturbazioni al modello originale e garantendo un'elevata fedeltà dell'ID. Gli esperimenti dimostrano che PuLID raggiunge prestazioni superiori sia nella fedeltà dell'ID che nella capacità di modifica. Un'altra caratteristica interessante di PuLID è che gli elementi dell'immagine (ad esempio, sfondo, illuminazione, composizione e stile) prima e dopo l'inserimento dell'ID rimangono il più possibile consistenti. I codici e i modelli saranno disponibili su https://github.com/ToTheBeginning/PuLID.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID