MONKEY: Masking ON KEY-Value Aktivierungsadapter für Personalisierung

MONKEY: Masking ON KEY-Value Activation Adapter for Personalization

October 9, 2025

papers.authors: James Baker

cs.AI

papers.abstract

Die Personalisierung von Diffusionsmodellen ermöglicht es Benutzern, neue Bilder zu generieren, die ein bestimmtes Subjekt einbeziehen, wodurch eine größere Kontrolle als durch einen Textprompt erreicht wird. Diese Modelle leiden jedoch oft darunter, dass sie lediglich das Subjektbild neu erstellen und den Textprompt ignorieren. Wir beobachten, dass eine beliebte Methode zur Personalisierung, der IP-Adapter, automatisch Masken generiert, die das Subjekt während der Inferenz eindeutig vom Hintergrund segmentieren. Wir schlagen vor, diese automatisch generierte Maske in einem zweiten Durchlauf zu verwenden, um die Bild-Token zu maskieren und sie somit auf das Subjekt zu beschränken, nicht auf den Hintergrund, wodurch der Textprompt den Rest des Bildes berücksichtigen kann. Bei Textprompts, die Orte und Plätze beschreiben, erzeugt dies Bilder, die das Subjekt präzise darstellen und gleichzeitig eindeutig dem Prompt entsprechen. Wir vergleichen unsere Methode mit einigen anderen Personalisierungsmethoden zur Laufzeit und stellen fest, dass unsere Methode eine hohe Übereinstimmung mit dem Prompt und dem Quellbild aufweist.

English

Personalizing diffusion models allows users to generate new images that incorporate a given subject, allowing more control than a text prompt. These models often suffer somewhat when they end up just recreating the subject image, and ignoring the text prompt. We observe that one popular method for personalization, the IP-Adapter automatically generates masks that we definitively segment the subject from the background during inference. We propose to use this automatically generated mask on a second pass to mask the image tokens, thus restricting them to the subject, not the background, allowing the text prompt to attend to the rest of the image. For text prompts describing locations and places, this produces images that accurately depict the subject while definitively matching the prompt. We compare our method to a few other test time personalization methods, and find our method displays high prompt and source image alignment.