RectifID: Personalizzazione del Rectified Flow con Guida del Classificatore Ancorato

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

Autori: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Abstract

Personalizzare i modelli di diffusione per generare immagini che preservino l'identità a partire da immagini di riferimento fornite dall'utente rappresenta un nuovo e affascinante problema. Gli approcci prevalenti richiedono tipicamente un addestramento su un ampio numero di immagini specifiche del dominio per ottenere la preservazione dell'identità, il che manca di flessibilità in diversi casi d'uso. Per affrontare questa problematica, sfruttiamo la guida del classificatore, una tecnica priva di addestramento che orienta i modelli di diffusione utilizzando un classificatore esistente, per la generazione di immagini personalizzate. Il nostro studio dimostra che, basandosi su un recente framework di flusso rettificato, la principale limitazione della guida del classificatore standard, che richiede un classificatore speciale, può essere risolta con una semplice soluzione a punto fisso, consentendo una personalizzazione flessibile con discriminatori di immagini preesistenti. Inoltre, la procedura di risoluzione si dimostra stabile quando ancorata a una traiettoria di flusso di riferimento, con una garanzia di convergenza. Il metodo derivato è implementato sul flusso rettificato con diversi discriminatori di immagini preesistenti, ottenendo risultati di personalizzazione vantaggiosi per volti umani, soggetti viventi e determinati oggetti. Il codice è disponibile all'indirizzo https://github.com/feifeiobama/RectifID.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.