역개인화

초록

최근 텍스트-이미지 확산 모델은 텍스트 프롬프트와 인간 정체성에 조건을 부여하여 사실적인 얼굴 이미지를 생성하는 뛰어난 능력을 보여주며, 개인화된 얼굴 이미지 생성을 가능하게 했습니다. 그러나 정체성 특정 요소를 제거하거나 수정하기 위한 기존의 프롬프트 기반 방법들은 주체가 사전 학습된 모델에 잘 표현되어 있거나 특정 정체성에 대한 모델 미세 조정이 필요하다는 한계가 있습니다. 본 연구에서는 정체성 생성 과정을 분석하고 얼굴 익명화를 위한 역개인화 프레임워크를 소개합니다. 우리의 접근법은 조건부 확산 역변환을 활용하여 텍스트 프롬프트를 사용하지 않고도 이미지를 직접 조작할 수 있도록 합니다. 모델의 훈련 데이터에 포함되지 않은 주체까지 일반화하기 위해 정체성 유도 조건 설정 분기를 추가합니다. 얼굴 속성 제어가 부족한 기존 익명화 방법과 달리, 우리의 프레임워크는 속성 제어가 가능한 익명화를 지원합니다. 우리의 방법이 정체성 제거, 속성 보존, 이미지 품질 간의 최적의 균형을 달성함을 입증합니다. 소스 코드와 데이터는 https://github.com/hanweikung/reverse-personalization 에서 확인할 수 있습니다.

English

Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .

Reverse Personalization

초록

Support