RectifID: Personalización de Flujo Rectificado con Guía de Clasificador Anclado

RectifID: Personalizing Rectified Flow with Anchored Classifier Guidance

May 23, 2024

Autores: Zhicheng Sun, Zhenhao Yang, Yang Jin, Haozhe Chi, Kun Xu, Kun Xu, Liwei Chen, Hao Jiang, Di Zhang, Yang Song, Kun Gai, Yadong Mu

cs.AI

Resumen

Personalizar modelos de difusión para generar imágenes que preserven la identidad a partir de imágenes de referencia proporcionadas por el usuario es un problema nuevo e intrigante. Los enfoques predominantes suelen requerir entrenamiento con un extenso conjunto de imágenes específicas del dominio para lograr la preservación de la identidad, lo que carece de flexibilidad en diferentes casos de uso. Para abordar este problema, aprovechamos la guía de clasificadores, una técnica libre de entrenamiento que dirige modelos de difusión utilizando un clasificador existente, para la generación de imágenes personalizadas. Nuestro estudio muestra que, basándose en un marco reciente de flujo rectificado, la principal limitación de la guía de clasificadores estándar, que requiere un clasificador especial, puede resolverse con una solución simple de punto fijo, permitiendo una personalización flexible con discriminadores de imágenes disponibles comercialmente. Además, su procedimiento de resolución demuestra ser estable cuando se ancla a una trayectoria de flujo de referencia, con una garantía de convergencia. El método derivado se implementa en flujo rectificado con diferentes discriminadores de imágenes disponibles comercialmente, ofreciendo resultados de personalización ventajosos para rostros humanos, sujetos vivos y ciertos objetos. El código está disponible en https://github.com/feifeiobama/RectifID.

English

Customizing diffusion models to generate identity-preserving images from user-provided reference images is an intriguing new problem. The prevalent approaches typically require training on extensive domain-specific images to achieve identity preservation, which lacks flexibility across different use cases. To address this issue, we exploit classifier guidance, a training-free technique that steers diffusion models using an existing classifier, for personalized image generation. Our study shows that based on a recent rectified flow framework, the major limitation of vanilla classifier guidance in requiring a special classifier can be resolved with a simple fixed-point solution, allowing flexible personalization with off-the-shelf image discriminators. Moreover, its solving procedure proves to be stable when anchored to a reference flow trajectory, with a convergence guarantee. The derived method is implemented on rectified flow with different off-the-shelf image discriminators, delivering advantageous personalization results for human faces, live subjects, and certain objects. Code is available at https://github.com/feifeiobama/RectifID.