VisualLens : Personnalisation à travers l'historique visuel

VisualLens: Personalization through Visual History

November 25, 2024

Auteurs: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Résumé

Nous émettons l'hypothèse qu'un historique visuel d'un utilisateur avec des images reflétant sa vie quotidienne offre des informations précieuses sur ses centres d'intérêt et préférences, et peut être exploité pour la personnalisation. Parmi les nombreux défis à relever pour atteindre cet objectif, le principal est la diversité et les bruits dans l'historique visuel, contenant des images qui ne sont pas nécessairement liées à une tâche de recommandation, ne reflétant pas nécessairement l'intérêt de l'utilisateur, voire n'étant pas nécessairement pertinents pour ses préférences. Les systèmes de recommandation existants reposent soit sur des journaux d'interaction utilisateur spécifiques à la tâche, tels que l'historique d'achats en ligne pour des recommandations d'achats, soit se concentrent sur des signaux textuels. Nous proposons une approche novatrice, VisualLens, qui extrait, filtre et affine les représentations d'images, et exploite ces signaux pour la personnalisation. Nous avons créé deux nouveaux bancs d'essai avec des historiques visuels agnostiques à la tâche, et montrons que notre méthode améliore les recommandations de pointe de 5 à 10 % sur Hit@3, et s'améliore par rapport au GPT-4o de 2 à 5 %. Notre approche ouvre la voie à des recommandations personnalisées dans des scénarios où les méthodes traditionnelles échouent.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.