PuLID: Personalización Pura y Rápida de Identidad mediante Alineación Contrastiva

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Autores: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Resumen

Proponemos Pure and Lightning ID customization (PuLID), un novedoso método de personalización de ID sin ajuste para la generación de texto a imagen. Al incorporar una rama Lightning T2I junto con una estándar de difusión, PuLID introduce tanto una pérdida de alineación contrastiva como una pérdida de ID precisa, minimizando la disrupción del modelo original y garantizando una alta fidelidad de ID. Los experimentos muestran que PuLID logra un rendimiento superior tanto en fidelidad de ID como en capacidad de edición. Otra propiedad atractiva de PuLID es que los elementos de la imagen (por ejemplo, fondo, iluminación, composición y estilo) antes y después de la inserción del ID se mantienen lo más consistentes posible. Los códigos y modelos estarán disponibles en https://github.com/ToTheBeginning/PuLID.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID