ViPer: Визуальная персонализация генеративных моделей с помощью обучения индивидуальных предпочтений

ViPer: Visual Personalization of Generative Models via Individual Preference Learning

July 24, 2024

Авторы: Sogand Salehi, Mahdi Shafiei, Teresa Yeo, Roman Bachmann, Amir Zamir

cs.AI

Аннотация

Разные пользователи находят разные изображения, сгенерированные для одного и того же запроса, привлекательными. Это приводит к персонализированной генерации изображений, которая включает создание изображений, соответствующих визуальным предпочтениям конкретного человека. Однако текущие генеративные модели не персонализированы, так как настроены на создание результатов, которые привлекательны для широкой аудитории. Использование их для генерации изображений, соответствующих индивидуальным пользователям, зависит от итеративного ручного формирования запроса пользователем, что неэффективно и нежелательно. Мы предлагаем персонализировать процесс генерации изображений, сначала захватив общие предпочтения пользователя в однократном процессе, пригласив их прокомментировать небольшой выбор изображений, объясняя, почему им нравится или не нравится каждое изображение. На основе этих комментариев мы выводим структурированные предпочтения пользователя к визуальным атрибутам, то есть их визуальные предпочтения, с помощью большой языковой модели. Эти атрибуты используются для направления модели текста в изображение на производство изображений, настроенных на визуальные предпочтения индивидуального пользователя. Через серию пользовательских исследований и оценок, направляемых большой языковой моделью, мы демонстрируем, что предложенный метод приводит к генерациям, которые хорошо соответствуют визуальным предпочтениям индивидуальных пользователей.

English

Different users find different images generated for the same prompt desirable. This gives rise to personalized image generation which involves creating images aligned with an individual's visual preference. Current generative models are, however, unpersonalized, as they are tuned to produce outputs that appeal to a broad audience. Using them to generate images aligned with individual users relies on iterative manual prompt engineering by the user which is inefficient and undesirable. We propose to personalize the image generation process by first capturing the generic preferences of the user in a one-time process by inviting them to comment on a small selection of images, explaining why they like or dislike each. Based on these comments, we infer a user's structured liked and disliked visual attributes, i.e., their visual preference, using a large language model. These attributes are used to guide a text-to-image model toward producing images that are tuned towards the individual user's visual preference. Through a series of user studies and large language model guided evaluations, we demonstrate that the proposed method results in generations that are well aligned with individual users' visual preferences.