PuLID: Reine und blitzschnelle ID-Anpassung durch kontrastive Ausrichtung

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Autoren: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Zusammenfassung

Wir schlagen Pure and Lightning ID Customization (PuLID) vor, eine neuartige, abstimmmungsfreie ID-Anpassungsmethode für die Generierung von Text-zu-Bild. Durch die Integration eines Lightning T2I-Zweigs mit einem Standard-Diffusionszweig führt PuLID sowohl einen kontrastiven Ausrichtungsverlust als auch einen genauen ID-Verlust ein, um Störungen am ursprünglichen Modell zu minimieren und eine hohe ID- Treue sicherzustellen. Experimente zeigen, dass PuLID eine überlegene Leistung sowohl in der ID-Treue als auch in der Bearbeitbarkeit erzielt. Eine weitere attraktive Eigenschaft von PuLID ist, dass die Bildelemente (z.B. Hintergrund, Beleuchtung, Komposition und Stil) vor und nach der ID-Einfügung so konsistent wie möglich gehalten werden. Codes und Modelle werden unter https://github.com/ToTheBeginning/PuLID verfügbar sein.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID