RectifID: 고정된 분류기 지도를 활용한 Rectified Flow의 개인화

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

저자: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

초록

사용자가 제공한 참조 이미지에서 정체성을 보존한 이미지를 생성하기 위해 확산 모델을 맞춤화하는 것은 흥미로운 새로운 문제입니다. 일반적으로 널리 사용되는 접근 방식은 정체성 보존을 위해 광범위한 도메인 특정 이미지에 대한 학습을 필요로 하며, 이는 다양한 사용 사례에서 유연성이 부족합니다. 이 문제를 해결하기 위해, 우리는 기존 분류기를 사용하여 확산 모델을 조종하는 학습이 필요 없는 기술인 분류기 가이던스를 활용하여 개인화된 이미지 생성을 연구합니다. 우리의 연구는 최근의 정류 흐름(rectified flow) 프레임워크를 기반으로, 특수 분류기를 요구하는 기존의 분류기 가이던스의 주요 한계를 간단한 고정점 해법으로 해결할 수 있음을 보여줍니다. 이를 통해 기성 이미지 판별기를 사용하여 유연한 개인화가 가능해집니다. 또한, 참조 흐름 궤적에 고정될 때 이 해법 과정은 안정적이며 수렴이 보장됩니다. 이 방법은 다양한 기성 이미지 판별기를 사용한 정류 흐름에 구현되어 인간 얼굴, 생물체, 특정 물체에 대해 우수한 개인화 결과를 제공합니다. 코드는 https://github.com/feifeiobama/RectifID에서 확인할 수 있습니다.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.