MONKEY: Adattatore di Attivazione Masking ON KEY-Value per la Personalizzazione

MONKEY: Masking ON KEY-Value Activation Adapter for Personalization

October 9, 2025

Autori: James Baker

cs.AI

Abstract

La personalizzazione dei modelli di diffusione consente agli utenti di generare nuove immagini che incorporano un determinato soggetto, offrendo un controllo maggiore rispetto a un semplice prompt testuale. Tuttavia, questi modelli spesso presentano delle limitazioni quando si limitano a ricreare l'immagine del soggetto, ignorando il prompt testuale. Osserviamo che un metodo popolare per la personalizzazione, l'IP-Adapter, genera automaticamente delle maschere che segmentano in modo definitivo il soggetto dallo sfondo durante l'inferenza. Proponiamo di utilizzare questa maschera generata automaticamente in un secondo passaggio per mascherare i token dell'immagine, limitandoli così al soggetto e non allo sfondo, permettendo al prompt testuale di concentrarsi sul resto dell'immagine. Per i prompt testuali che descrivono luoghi e ambientazioni, questo approccio produce immagini che rappresentano accuratamente il soggetto rispettando fedelmente il prompt. Confrontiamo il nostro metodo con altri metodi di personalizzazione in fase di test e riscontriamo che il nostro metodo mostra un elevato allineamento sia con il prompt che con l'immagine sorgente.

English

Personalizing diffusion models allows users to generate new images that incorporate a given subject, allowing more control than a text prompt. These models often suffer somewhat when they end up just recreating the subject image, and ignoring the text prompt. We observe that one popular method for personalization, the IP-Adapter automatically generates masks that we definitively segment the subject from the background during inference. We propose to use this automatically generated mask on a second pass to mask the image tokens, thus restricting them to the subject, not the background, allowing the text prompt to attend to the rest of the image. For text prompts describing locations and places, this produces images that accurately depict the subject while definitively matching the prompt. We compare our method to a few other test time personalization methods, and find our method displays high prompt and source image alignment.