Personalização Reversa
Reverse Personalization
December 28, 2025
Autores: Han-Wei Kung, Tuomas Varanka, Nicu Sebe
cs.AI
Resumo
Os recentes modelos de difusão texto-imagem têm demonstrado uma geração notável de imagens faciais realistas condicionadas por instruções textuais e identidades humanas, permitindo a criação de imagens faciais personalizadas. No entanto, os métodos existentes baseados em *prompts* para remover ou modificar características específicas de identidade dependem ou de o sujeito estar bem representado no modelo pré-treinado ou requerem o ajuste fino do modelo para identidades específicas. Neste trabalho, analisamos o processo de geração de identidade e introduzimos uma estrutura de personalização reversa para anonimização facial. A nossa abordagem aproveita a inversão por difusão condicional, permitindo a manipulação direta de imagens sem o uso de *prompts* textuais. Para generalizar além dos sujeitos presentes nos dados de treino do modelo, incorporamos um ramo de condicionamento guiado por identidade. Ao contrário dos métodos de anonimização anteriores, que carecem de controlo sobre os atributos faciais, a nossa estrutura suporta a anonimização com controlo de atributos. Demonstramos que o nosso método alcança um equilíbrio estado da arte entre a remoção de identidade, a preservação de atributos e a qualidade da imagem. O código fonte e os dados estão disponíveis em https://github.com/hanweikung/reverse-personalization.
English
Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .