Omgekeerde Personalisatie
Reverse Personalization
December 28, 2025
Auteurs: Han-Wei Kung, Tuomas Varanka, Nicu Sebe
cs.AI
Samenvatting
Recente tekst-naar-beeld diffusiemodellen hebben een opmerkelijke generatie van realistische gezichtsafbeeldingen aangetoond, geconditioneerd op tekstuele prompts en menselijke identiteiten, wat het creëren van gepersonaliseerde gezichtsafbeeldingen mogelijk maakt. Bestaande prompt-gebaseerde methoden voor het verwijderen of wijzigen van identiteitsspecifieke kenmerken zijn echter ofwel afhankelijk van een goede representatie van het onderwerp in het vooraf getrainde model, of vereisen modelfinetuning voor specifieke identiteiten. In dit werk analyseren we het identiteitsgeneratieproces en introduceren we een reverse personalisatiekader voor gezichtsanonymisatie. Onze aanpak benut conditionele diffusie-inversie, waardoor directe manipulatie van afbeeldingen mogelijk is zonder gebruik te maken van tekstprompts. Om generalisatie voorbij de onderwerpen in de traindata van het model te bereiken, incorporeren we een identiteitsgeleide conditioneringstak. In tegenstelling tot eerdere anonimisatiemethoden, waarbij controle over gezichtskenmerken ontbreekt, ondersteunt ons kader kenmerk-controleerbare anonimisatie. Wij tonen aan dat onze methode een state-of-the-art balans bereikt tussen identiteitsverwijdering, kenmerkbehoud en beeldkwaliteit. Broncode en data zijn beschikbaar op https://github.com/hanweikung/reverse-personalization.
English
Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .