MONKEY: Адаптер маскирования активаций KEY-Value для персонализации

MONKEY: Masking ON KEY-Value Activation Adapter for Personalization

October 9, 2025

Авторы: James Baker

cs.AI

Аннотация

Персонализация диффузионных моделей позволяет пользователям генерировать новые изображения, включающие заданный объект, обеспечивая больший контроль, чем текстовый запрос. Эти модели часто сталкиваются с трудностями, когда просто воссоздают изображение объекта, игнорируя текстовый запрос. Мы наблюдаем, что один из популярных методов персонализации, IP-Adapter, автоматически генерирует маски, которые позволяют четко отделить объект от фона во время вывода. Мы предлагаем использовать эту автоматически сгенерированную маску на втором этапе для маскирования токенов изображения, ограничивая их только объектом, а не фоном, что позволяет текстовому запросу учитывать остальную часть изображения. Для текстовых запросов, описывающих местоположения и места, это создает изображения, которые точно изображают объект, одновременно строго соответствуя запросу. Мы сравниваем наш метод с несколькими другими методами персонализации во время тестирования и обнаруживаем, что наш метод демонстрирует высокое соответствие как запросу, так и исходному изображению.

English

Personalizing diffusion models allows users to generate new images that incorporate a given subject, allowing more control than a text prompt. These models often suffer somewhat when they end up just recreating the subject image, and ignoring the text prompt. We observe that one popular method for personalization, the IP-Adapter automatically generates masks that we definitively segment the subject from the background during inference. We propose to use this automatically generated mask on a second pass to mask the image tokens, thus restricting them to the subject, not the background, allowing the text prompt to attend to the rest of the image. For text prompts describing locations and places, this produces images that accurately depict the subject while definitively matching the prompt. We compare our method to a few other test time personalization methods, and find our method displays high prompt and source image alignment.