MONKEY: パーソナライゼーションのためのキー・バリュー活性化アダプタにおけるマスキング

MONKEY: Masking ON KEY-Value Activation Adapter for Personalization

October 9, 2025

著者: James Baker

cs.AI

要旨

拡散モデルのパーソナライズにより、ユーザーは特定の被写体を取り込んだ新しい画像を生成できるようになり、テキストプロンプトよりも高い制御性を実現します。しかし、これらのモデルは、被写体画像を再現するだけでテキストプロンプトを無視してしまう場合に、やや性能が低下する傾向があります。我々は、パーソナライズのための一般的な手法であるIP-Adapterが、推論中に被写体を背景から明確にセグメント化するマスクを自動生成することに着目しました。そこで、この自動生成されたマスクを第二パスで使用し、画像トークンを被写体に限定して背景を除外することで、テキストプロンプトが画像の残りの部分に注意を向けられるようにすることを提案します。場所や情景を記述するテキストプロンプトに対して、この手法は被写体を正確に描写しつつ、プロンプトに完全に一致する画像を生成します。我々の手法を他のテスト時パーソナライズ手法と比較した結果、プロンプトと元画像の高い整合性が確認されました。

English

Personalizing diffusion models allows users to generate new images that incorporate a given subject, allowing more control than a text prompt. These models often suffer somewhat when they end up just recreating the subject image, and ignoring the text prompt. We observe that one popular method for personalization, the IP-Adapter automatically generates masks that we definitively segment the subject from the background during inference. We propose to use this automatically generated mask on a second pass to mask the image tokens, thus restricting them to the subject, not the background, allowing the text prompt to attend to the rest of the image. For text prompts describing locations and places, this produces images that accurately depict the subject while definitively matching the prompt. We compare our method to a few other test time personalization methods, and find our method displays high prompt and source image alignment.