Personalización inversa
Reverse Personalization
December 28, 2025
Autores: Han-Wei Kung, Tuomas Varanka, Nicu Sebe
cs.AI
Resumen
Los modelos de difusión recientes de texto a imagen han demostrado una capacidad notable para generar rostros realistas condicionados por indicaciones textuales e identidades humanas, permitiendo la creación de imágenes faciales personalizadas. Sin embargo, los métodos existentes basados en indicaciones para eliminar o modificar rasgos específicos de la identidad dependen de que el sujeto esté bien representado en el modelo preentrenado o requieren un ajuste fino del modelo para identidades específicas. En este trabajo, analizamos el proceso de generación de identidad e introducimos un marco de personalización inversa para el anonimato facial. Nuestro enfoque aprovecha la inversión de difusión condicional, permitiendo la manipulación directa de imágenes sin utilizar indicaciones de texto. Para generalizar más allá de los sujetos en los datos de entrenamiento del modelo, incorporamos una rama de condicionamiento guiada por identidad. A diferencia de los métodos de anonimización anteriores, que carecen de control sobre los atributos faciales, nuestro marco admite una anonimización con control de atributos. Demostramos que nuestro método logra un equilibrio de vanguardia entre la eliminación de la identidad, la preservación de atributos y la calidad de la imagen. El código fuente y los datos están disponibles en https://github.com/hanweikung/reverse-personalization.
English
Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .