Обратная персонализация
Reverse Personalization
December 28, 2025
Авторы: Han-Wei Kung, Tuomas Varanka, Nicu Sebe
cs.AI
Аннотация
Современные диффузионные модели для генерации изображений по тексту демонстрируют впечатляющие возможности создания реалистичных лицевых изображений, управляемых текстовыми описаниями и идентичностью человека, что позволяет создавать персонализированные изображения лиц. Однако существующие методы на основе промптов для удаления или модификации идентификационных характеристик либо требуют, чтобы объект был хорошо представлен в предварительно обученной модели, либо предполагают дообучение модели для конкретных идентичностей. В данной работе мы анализируем процесс генерации идентичности и предлагаем фреймворк обратной персонализации для анонимизации лиц. Наш подход использует метод условной инверсии диффузии, позволяя напрямую манипулировать изображениями без применения текстовых промптов. Для обобщения на объекты, отсутствующие в обучающих данных модели, мы интегрируем управляемый идентичностью блок conditioning. В отличие от предыдущих методов анонимизации, не обеспечивающих контроля над лицевыми атрибутами, наш фреймворк поддерживает атрибутивно-управляемую анонимизацию. Мы показываем, что наш метод достигает передового баланса между удалением идентичности, сохранением атрибутов и качеством изображения. Исходный код и данные доступны по адресу https://github.com/hanweikung/reverse-personalization.
English
Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .