RectifID: Personalisering van Rectified Flow met Verankerde Classificatorbegeleiding

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

Auteurs: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Samenvatting

Het aanpassen van diffusiemodellen om identiteitsbehoudende afbeeldingen te genereren op basis van door gebruikers verstrekte referentieafbeeldingen is een intrigerend nieuw probleem. De gangbare benaderingen vereisen doorgaans training op uitgebreide domeinspecifieke afbeeldingen om identiteitsbehoud te bereiken, wat de flexibiliteit over verschillende use cases beperkt. Om dit probleem aan te pakken, maken we gebruik van classifier guidance, een training-vrije techniek die diffusiemodellen stuurt met behulp van een bestaande classifier, voor gepersonaliseerde beeldgeneratie. Onze studie toont aan dat, gebaseerd op een recent rectified flow-framework, de belangrijkste beperking van standaard classifier guidance, namelijk het vereisen van een speciale classifier, kan worden opgelost met een eenvoudige fixed-point oplossing, waardoor flexibele personalisatie mogelijk wordt met standaard beelddiscriminatoren. Bovendien blijkt het oplossingsproces stabiel te zijn wanneer het verankerd is aan een referentie flow-traject, met een convergentiegarantie. De afgeleide methode wordt geïmplementeerd op rectified flow met verschillende standaard beelddiscriminatoren, wat voordelige personalisatieresultaten oplevert voor menselijke gezichten, levende onderwerpen en bepaalde objecten. Code is beschikbaar op https://github.com/feifeiobama/RectifID.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.