Идентификация: Персонализация выправленного потока с руководством якорным классификатором

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

Авторы: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Аннотация

Настройка моделей диффузии для создания изображений, сохраняющих идентичность, на основе пользовательских исходных изображений - это увлекательная новая задача. Преобладающие подходы обычно требуют обучения на обширных изображениях, специфичных для области, для достижения сохранения идентичности, что ограничивает гибкость в различных сценариях использования. Для решения этой проблемы мы используем руководство классификатора, технику обучения без обучения, которая направляет модели диффузии с использованием существующего классификатора, для персонализированного создания изображений. Наше исследование показывает, что на основе недавней структуры исправленного потока основное ограничение обычного руководства классификатором, требующее специального классификатора, может быть устранено с помощью простого решения с фиксированной точкой, позволяющего гибкую персонализацию с использованием готовых дискриминаторов изображений. Более того, процедура его решения оказывается стабильной, когда она привязана к траектории опорного потока, с гарантией сходимости. Полученный метод реализован на исправленном потоке с различными готовыми дискриминаторами изображений, обеспечивая преимущественные результаты персонализации для человеческих лиц, живых объектов и определенных объектов. Код доступен по адресу https://github.com/feifeiobama/RectifID.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.