逆パーソナライゼーション

要旨

近年のテキストto画像拡散モデルは、テキストプロンプトや人物のアイデンティティに条件付けられた写実的な顔画像の生成において顕著な成果を示し、個人化された顔画像の作成を可能にしている。しかし、既存のプロンプトベースの手法は、アイデンティティ固有の特徴を除去または修正する際、対象人物が事前学習済みモデル内で十分に表現されていることに依存するか、特定のアイデンティティに対するモデルのファインチューニングを必要とする。本研究では、アイデンティティ生成プロセスを分析し、顔の匿名化のための逆パーソナライゼーションフレームワークを提案する。本手法は条件付き拡散反転を活用し、テキストプロンプトを用いることなく画像を直接操作する。モデルの学習データに含まれない対象へ一般化するため、アイデンティティ誘導型条件付けブランチを組み込んでいる。従来の匿名化手法が顔属性の制御性に欠けていたのに対し、本フレームワークは属性制御可能な匿名化を実現する。提案手法が、アイデンティティ除去、属性保存、画像品質のバランスにおいて最先端の性能を達成することを実証する。ソースコードとデータはhttps://github.com/hanweikung/reverse-personalization で公開している。

English

Recent text-to-image diffusion models have demonstrated remarkable generation of realistic facial images conditioned on textual prompts and human identities, enabling creating personalized facial imagery. However, existing prompt-based methods for removing or modifying identity-specific features rely either on the subject being well-represented in the pre-trained model or require model fine-tuning for specific identities. In this work, we analyze the identity generation process and introduce a reverse personalization framework for face anonymization. Our approach leverages conditional diffusion inversion, allowing direct manipulation of images without using text prompts. To generalize beyond subjects in the model's training data, we incorporate an identity-guided conditioning branch. Unlike prior anonymization methods, which lack control over facial attributes, our framework supports attribute-controllable anonymization. We demonstrate that our method achieves a state-of-the-art balance between identity removal, attribute preservation, and image quality. Source code and data are available at https://github.com/hanweikung/reverse-personalization .

逆パーソナライゼーション

Reverse Personalization

要旨

Support