ViPer: Personalización Visual de Modelos Generativos a través del Aprendizaje de Preferencias Individuales

ViPer: Visual Personalization of Generative Models via Individual Preference Learning

July 24, 2024

Autores: Sogand Salehi, Mahdi Shafiei, Teresa Yeo, Roman Bachmann, Amir Zamir

cs.AI

Resumen

Diferentes usuarios encuentran deseables diferentes imágenes generadas para el mismo estímulo. Esto da lugar a la generación de imágenes personalizadas que implica la creación de imágenes alineadas con las preferencias visuales de un individuo. Sin embargo, los modelos generativos actuales son impersonales, ya que están ajustados para producir resultados que atraen a una audiencia amplia. Utilizarlos para generar imágenes alineadas con usuarios individuales depende de la ingeniería de estímulos manuales iterativos por parte del usuario, lo cual es ineficiente y no deseable. Proponemos personalizar el proceso de generación de imágenes capturando primero las preferencias genéricas del usuario en un proceso único al invitarlos a comentar sobre una pequeña selección de imágenes, explicando por qué les gustan o no les gustan cada una. Basándonos en estos comentarios, inferimos los atributos visuales estructurados que le gustan y no le gustan a un usuario, es decir, sus preferencias visuales, utilizando un gran modelo de lenguaje. Estos atributos se utilizan para guiar a un modelo de texto a imagen hacia la producción de imágenes ajustadas hacia las preferencias visuales del usuario individual. A través de una serie de estudios de usuarios y evaluaciones guiadas por un gran modelo de lenguaje, demostramos que el método propuesto resulta en generaciones que están bien alineadas con las preferencias visuales de usuarios individuales.

English

Different users find different images generated for the same prompt desirable. This gives rise to personalized image generation which involves creating images aligned with an individual's visual preference. Current generative models are, however, unpersonalized, as they are tuned to produce outputs that appeal to a broad audience. Using them to generate images aligned with individual users relies on iterative manual prompt engineering by the user which is inefficient and undesirable. We propose to personalize the image generation process by first capturing the generic preferences of the user in a one-time process by inviting them to comment on a small selection of images, explaining why they like or dislike each. Based on these comments, we infer a user's structured liked and disliked visual attributes, i.e., their visual preference, using a large language model. These attributes are used to guide a text-to-image model toward producing images that are tuned towards the individual user's visual preference. Through a series of user studies and large language model guided evaluations, we demonstrate that the proposed method results in generations that are well aligned with individual users' visual preferences.