RectifID: Personalisierung des rectified Flows mit verankerter Klassifiziererführung

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

Autoren: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Zusammenfassung

Die Anpassung von Diffusionsmodellen zur Erzeugung identitätserhaltender Bilder aus vom Benutzer bereitgestellten Referenzbildern ist ein faszinierendes neues Problem. Die vorherrschenden Ansätze erfordern in der Regel ein Training an umfangreichen domänenspezifischen Bildern, um die Identität zu bewahren, was jedoch an Flexibilität über verschiedene Anwendungsfälle hinweg mangelt. Um dieses Problem zu lösen, nutzen wir den Klassifizierer-Leitfaden, eine trainingsfreie Technik, die Diffusionsmodelle mithilfe eines vorhandenen Klassifizierers lenkt, für die personalisierte Bildgenerierung. Unsere Studie zeigt, dass basierend auf einem kürzlich entwickelten rektifizierten Flussrahmenwerk die Hauptbeschränkung des einfachen Klassifizierer-Leitfadens, der einen speziellen Klassifizierer erfordert, mit einer einfachen Fixpunkt-Lösung gelöst werden kann, was eine flexible Personalisierung mit handelsüblichen Bilddiskriminatoren ermöglicht. Darüber hinaus erweist sich das Lösungsverfahren als stabil, wenn es an einer Referenzflussbahn verankert ist, mit einer Konvergenzgarantie. Die abgeleitete Methode wird auf rektifiziertem Fluss mit verschiedenen handelsüblichen Bilddiskriminatoren implementiert und liefert vorteilhafte Personalisierungsergebnisse für menschliche Gesichter, lebendige Subjekte und bestimmte Objekte. Der Code ist verfügbar unter https://github.com/feifeiobama/RectifID.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.