VisualLens: Personalisatie door Visuele Geschiedenis

VisualLens: Personalization through Visual History

November 25, 2024

Auteurs: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Samenvatting

Wij veronderstellen dat de visuele geschiedenis van een gebruiker met afbeeldingen die hun dagelijks leven weerspiegelen, waardevolle inzichten biedt in hun interesses en voorkeuren, en kan worden benut voor personalisatie. Onder de vele uitdagingen om dit doel te bereiken, is de belangrijkste de diversiteit en ruis in de visuele geschiedenis, met afbeeldingen die niet noodzakelijkerwijs verband houden met een aanbevelingstaak, niet noodzakelijkerwijs de interesse van de gebruiker weerspiegelen, of zelfs niet noodzakelijkerwijs relevant zijn voor voorkeuren. Bestaande aanbevelingssystemen vertrouwen ofwel op taakspecifieke gebruikersinteractielogs, zoals online winkelgeschiedenis voor winkelaanbevelingen, of richten zich op tekstsignalen. Wij stellen een nieuw benadering voor, VisualLens, die beeldrepresentaties extraheren, filteren en verfijnen, en deze signalen benutten voor personalisatie. We hebben twee nieuwe benchmarks gecreëerd met taakagnostische visuele geschiedenissen, en laten zien dat onze methode de state-of-the-art aanbevelingen verbetert met 5-10% op Hit@3, en beter presteert dan GPT-4o met 2-5%. Onze benadering effent het pad voor gepersonaliseerde aanbevelingen in scenario's waar traditionele methoden tekortschieten.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.