PuLID: Пользовательская настройка чистого и быстрого идентификатора с помощью контрастного выравнивания

PuLID: Pure and Lightning ID Customization via Contrastive Alignment

April 24, 2024

Авторы: Zinan Guo, Yanze Wu, Zhuowei Chen, Lang Chen, Qian He

cs.AI

Аннотация

Мы предлагаем метод настройки Pure and Lightning ID customization (PuLID), новый метод настройки ID без необходимости настройки для генерации текста в изображение. Путем внедрения ветви Lightning T2I вместе со стандартной ветвью диффузии, PuLID вводит как потерю контрастного выравнивания, так и точную потерю ID, минимизируя нарушения в исходной модели и обеспечивая высокую верность ID. Эксперименты показывают, что PuLID достигает превосходных результатов как в верности ID, так и в возможности редактирования. Еще одним привлекательным свойством PuLID является то, что элементы изображения (например, фон, освещение, композиция и стиль) до и после вставки ID сохраняются как можно более согласованными. Коды и модели будут доступны на https://github.com/ToTheBeginning/PuLID

English

We propose Pure and Lightning ID customization (PuLID), a novel tuning-free ID customization method for text-to-image generation. By incorporating a Lightning T2I branch with a standard diffusion one, PuLID introduces both contrastive alignment loss and accurate ID loss, minimizing disruption to the original model and ensuring high ID fidelity. Experiments show that PuLID achieves superior performance in both ID fidelity and editability. Another attractive property of PuLID is that the image elements (e.g., background, lighting, composition, and style) before and after the ID insertion are kept as consistent as possible. Codes and models will be available at https://github.com/ToTheBeginning/PuLID