Umgekehrte Personalisierung
Reverse Personalization
December 28, 2025
papers.authors: Han-Wei Kung, Tuomas Varanka, Nicu Sebe
cs.AI
papers.abstract
Aktuelle Text-zu-Bild-Diffusionsmodelle ermöglichen die beeindruckende Erzeugung realistischer Gesichtsbilder auf Basis textueller Eingabeaufforderungen und menschlicher Identitäten, was die Erstellung personalisierter Gesichtsbilder erlaubt. Bestehende prompt-basierte Methoden zum Entfernen oder Modifizieren identitätsspezifischer Merkmale setzen jedoch voraus, dass die Person im vortrainierten Modell gut repräsentiert ist oder erfordern eine Modellfeinabstimmung für bestimmte Identitäten. In dieser Arbeit analysieren wir den Identitätsgenerierungsprozess und führen ein Reverse-Personalization-Framework zur Gesichtsanonymisierung ein. Unser Ansatz nutzt bedingte Diffusionsinversion, die eine direkte Bildmanipulation ohne Textprompts ermöglicht. Um eine Generalisierung über die im Trainingsdatensatz des Modells enthaltenen Personen hinaus zu erreichen, integrieren wir einen identitätsgesteuerten Konditionierungszweig. Im Gegensatz zu früheren Anonymisierungsmethoden, bei denen die Kontrolle über Gesichtsattribute fehlt, unterstützt unser Framework attributsteuerbare Anonymisierung. Wir zeigen, dass unsere Methode einen state-of-the-art Kompromiss zwischen Identitätsentfernung, Attributerhaltung und Bildqualität erreicht. Quellcode und Daten sind unter https://github.com/hanweikung/reverse-personalization verfügbar.
English
Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .