PuLID: 대조 정렬을 통한 순수하고 빠른 ID 맞춤화

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

저자: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

초록

우리는 텍스트-이미지 생성을 위한 새로운 튜닝 프리 ID 커스터마이제이션 방법인 Pure and Lightning ID 커스터마이제이션(PuLID)을 제안한다. PuLID는 표준 디퓨전 브랜치와 Lightning T2I 브랜치를 통합하여 대조 정렬 손실(contrastive alignment loss)과 정확한 ID 손실(accurate ID loss)을 도입함으로써, 원본 모델에 대한 방해를 최소화하고 높은 ID 충실도를 보장한다. 실험 결과, PuLID는 ID 충실도와 편집 가능성 모두에서 우수한 성능을 달성함을 보여준다. PuLID의 또 다른 매력적인 특징은 ID 삽입 전후의 이미지 요소(예: 배경, 조명, 구도, 스타일)가 가능한 한 일관되게 유지된다는 점이다. 코드와 모델은 https://github.com/ToTheBeginning/PuLID에서 제공될 예정이다.

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID