PuLID: Personalização Pura e Rápida de ID via Alinhamento Contrastivo

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Autores: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Resumo

Propomos o PuLID (Pure and Lightning ID Customization), um novo método de personalização de ID sem ajuste para geração de texto em imagem. Ao incorporar um ramo Lightning T2I com um ramo de difusão padrão, o PuLID introduz tanto uma perda de alinhamento contrastante quanto uma perda de ID precisa, minimizando a interrupção do modelo original e garantindo alta fidelidade de ID. Experimentos mostram que o PuLID alcança desempenho superior tanto em fidelidade de ID quanto em editabilidade. Outra propriedade atraente do PuLID é que os elementos da imagem (por exemplo, fundo, iluminação, composição e estilo) antes e após a inserção do ID são mantidos o mais consistentes possível. Códigos e modelos estarão disponíveis em https://github.com/ToTheBeginning/PuLID.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID