RectifID：アンカード分類器ガイダンスによるパーソナライズされたRectified Flow

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

著者: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

要旨

ユーザー提供の参照画像から同一性を保持した画像を生成するために拡散モデルをカスタマイズすることは、興味深い新たな課題である。従来の主流なアプローチでは、同一性を保持するために広範なドメイン固有の画像での学習が必要であり、異なるユースケースでの柔軟性に欠けていた。この問題に対処するため、我々は既存の分類器を用いて拡散モデルを誘導する学習不要の技術である分類器ガイダンスを活用し、パーソナライズされた画像生成を実現する。本研究では、最近の修正フロー（rectified flow）フレームワークに基づき、特別な分類器を必要とする従来の分類器ガイダンスの主要な制約が、単純な不動点解法によって解決可能であることを示す。これにより、既存の画像識別器を用いた柔軟なパーソナライゼーションが可能となる。さらに、その解法手順は参照フローの軌跡に固定された場合に安定であり、収束が保証される。導出された手法は、異なる既存の画像識別器を用いた修正フローに実装され、人間の顔、被写体、および特定のオブジェクトに対して優れたパーソナライゼーション結果を提供する。コードはhttps://github.com/feifeiobama/RectifIDで公開されている。

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.