MONKEY : Adaptateur d'activation par masquage sur les paires clé-valeur pour la personnalisation

MONKEY: Masking ON KEY-Value Activation Adapter for Personalization

October 9, 2025

papers.authors: James Baker

cs.AI

papers.abstract

La personnalisation des modèles de diffusion permet aux utilisateurs de générer de nouvelles images intégrant un sujet donné, offrant ainsi un contrôle supérieur à celui d'une simple invite textuelle. Ces modèles rencontrent souvent des difficultés lorsqu'ils se contentent de reproduire l'image du sujet tout en ignorant l'invite textuelle. Nous observons qu'une méthode populaire de personnalisation, l'IP-Adapter, génère automatiquement des masques qui segmentent clairement le sujet de l'arrière-plan lors de l'inférence. Nous proposons d'utiliser ce masque généré automatiquement lors d'une deuxième passe pour masquer les tokens de l'image, les limitant ainsi au sujet et non à l'arrière-plan, ce qui permet à l'invite textuelle de se concentrer sur le reste de l'image. Pour les invites textuelles décrivant des lieux et des endroits, cela produit des images qui représentent fidèlement le sujet tout en correspondant parfaitement à l'invite. Nous comparons notre méthode à quelques autres méthodes de personnalisation au moment du test, et constatons que notre méthode présente un alignement élevé entre l'invite et l'image source.

English

Personalizing diffusion models allows users to generate new images that incorporate a given subject, allowing more control than a text prompt. These models often suffer somewhat when they end up just recreating the subject image, and ignoring the text prompt. We observe that one popular method for personalization, the IP-Adapter automatically generates masks that we definitively segment the subject from the background during inference. We propose to use this automatically generated mask on a second pass to mask the image tokens, thus restricting them to the subject, not the background, allowing the text prompt to attend to the rest of the image. For text prompts describing locations and places, this produces images that accurately depict the subject while definitively matching the prompt. We compare our method to a few other test time personalization methods, and find our method displays high prompt and source image alignment.