RectifID : Personnalisation des flux rectifiés avec guidage par classifieur ancré

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

Auteurs: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Résumé

Adapter les modèles de diffusion pour générer des images préservant l'identité à partir d'images de référence fournies par l'utilisateur constitue un nouveau problème fascinant. Les approches prédominantes nécessitent généralement un entraînement sur un vaste ensemble d'images spécifiques à un domaine pour parvenir à la préservation de l'identité, ce qui manque de flexibilité pour différents cas d'utilisation. Pour résoudre ce problème, nous exploitons le guidage par classifieur, une technique sans entraînement qui oriente les modèles de diffusion à l'aide d'un classifieur existant, pour la génération d'images personnalisées. Notre étude montre que, basée sur un récent cadre de flux rectifié, la limitation majeure du guidage par classifieur classique, qui nécessite un classifieur spécial, peut être résolue avec une simple solution à point fixe, permettant une personnalisation flexible avec des discriminateurs d'images prêts à l'emploi. De plus, sa procédure de résolution s'avère stable lorsqu'elle est ancrée à une trajectoire de flux de référence, avec une garantie de convergence. La méthode dérivée est implémentée sur un flux rectifié avec différents discriminateurs d'images prêts à l'emploi, offrant des résultats de personnalisation avantageux pour les visages humains, les sujets vivants et certains objets. Le code est disponible à l'adresse https://github.com/feifeiobama/RectifID.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.