ViPer : Personnalisation visuelle des modèles génératifs par apprentissage des préférences individuelles

ViPer: Visual Personalization of Generative Models via Individual Preference Learning

July 24, 2024

Auteurs: Sogand Salehi, Mahdi Shafiei, Teresa Yeo, Roman Bachmann, Amir Zamir

cs.AI

Résumé

Différents utilisateurs trouvent désirables différentes images générées pour la même instruction. Cela donne lieu à la génération d'images personnalisées, qui consiste à créer des images alignées sur les préférences visuelles d'un individu. Les modèles génératifs actuels sont cependant impersonnels, car ils sont configurés pour produire des résultats qui plaisent à un large public. Leur utilisation pour générer des images alignées sur les préférences individuelles des utilisateurs repose sur une ingénierie manuelle itérative des instructions par l'utilisateur, ce qui est inefficace et indésirable. Nous proposons de personnaliser le processus de génération d'images en capturant d'abord les préférences génériques de l'utilisateur dans un processus unique, en l'invitant à commenter une petite sélection d'images et à expliquer pourquoi il aime ou n'aime pas chacune d'elles. Sur la base de ces commentaires, nous inférons les attributs visuels structurés appréciés et non appréciés par l'utilisateur, c'est-à-dire ses préférences visuelles, à l'aide d'un modèle de langage de grande taille. Ces attributs sont ensuite utilisés pour guider un modèle de génération de texte à image afin de produire des images adaptées aux préférences visuelles individuelles de l'utilisateur. À travers une série d'études utilisateurs et d'évaluations guidées par un modèle de langage de grande taille, nous démontrons que la méthode proposée permet d'obtenir des générations bien alignées avec les préférences visuelles individuelles des utilisateurs.

English

Different users find different images generated for the same prompt desirable. This gives rise to personalized image generation which involves creating images aligned with an individual's visual preference. Current generative models are, however, unpersonalized, as they are tuned to produce outputs that appeal to a broad audience. Using them to generate images aligned with individual users relies on iterative manual prompt engineering by the user which is inefficient and undesirable. We propose to personalize the image generation process by first capturing the generic preferences of the user in a one-time process by inviting them to comment on a small selection of images, explaining why they like or dislike each. Based on these comments, we infer a user's structured liked and disliked visual attributes, i.e., their visual preference, using a large language model. These attributes are used to guide a text-to-image model toward producing images that are tuned towards the individual user's visual preference. Through a series of user studies and large language model guided evaluations, we demonstrate that the proposed method results in generations that are well aligned with individual users' visual preferences.