ViPer: Visuelle Personalisierung von Generativen Modellen durch individuelles Präferenzlernen

ViPer: Visual Personalization of Generative Models via Individual Preference Learning

July 24, 2024

Autoren: Sogand Salehi, Mahdi Shafiei, Teresa Yeo, Roman Bachmann, Amir Zamir

cs.AI

Zusammenfassung

Verschiedene Benutzer finden verschiedene Bilder, die für denselben Anstoß generiert wurden, wünschenswert. Dies führt zur personalisierten Bildgenerierung, bei der Bilder erstellt werden, die den visuellen Vorlieben einer Person entsprechen. Aktuelle generative Modelle sind jedoch unpersönlich, da sie darauf abgestimmt sind, Ausgaben zu erzeugen, die einem breiten Publikum gefallen. Ihre Verwendung zur Generierung von Bildern, die den individuellen Benutzern entsprechen, beruht auf einem iterativen manuellen Anstoß-Engineering durch den Benutzer, was ineffizient und unerwünscht ist. Wir schlagen vor, den Bildgenerierungsprozess zu personalisieren, indem wir zunächst die generischen Vorlieben des Benutzers in einem einmaligen Prozess erfassen, indem wir sie einladen, zu einer kleinen Auswahl von Bildern Stellung zu beziehen und zu erklären, warum sie jedes mögen oder nicht mögen. Basierend auf diesen Kommentaren schließen wir auf die strukturierten gemochten und nicht gemochten visuellen Merkmale eines Benutzers, d.h. ihre visuelle Vorliebe, unter Verwendung eines großen Sprachmodells. Diese Merkmale werden verwendet, um ein Text-zu-Bild-Modell zu lenken, um Bilder zu erzeugen, die auf die visuelle Vorliebe des individuellen Benutzers abgestimmt sind. Durch eine Reihe von Benutzerstudien und groß angelegte Sprachmodell-gesteuerte Bewertungen zeigen wir, dass die vorgeschlagene Methode zu Generationen führt, die gut mit den visuellen Vorlieben einzelner Benutzer übereinstimmen.

English

Different users find different images generated for the same prompt desirable. This gives rise to personalized image generation which involves creating images aligned with an individual's visual preference. Current generative models are, however, unpersonalized, as they are tuned to produce outputs that appeal to a broad audience. Using them to generate images aligned with individual users relies on iterative manual prompt engineering by the user which is inefficient and undesirable. We propose to personalize the image generation process by first capturing the generic preferences of the user in a one-time process by inviting them to comment on a small selection of images, explaining why they like or dislike each. Based on these comments, we infer a user's structured liked and disliked visual attributes, i.e., their visual preference, using a large language model. These attributes are used to guide a text-to-image model toward producing images that are tuned towards the individual user's visual preference. Through a series of user studies and large language model guided evaluations, we demonstrate that the proposed method results in generations that are well aligned with individual users' visual preferences.