VisualLens: 視覚履歴を通じたパーソナライゼーション

VisualLens: Personalization through Visual History

November 25, 2024

著者: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

要旨

ユーザーのビジュアル履歴が、日常生活を反映した画像を通じて、彼らの興味や好みに関する貴重な洞察を提供し、個人化に活用できるという仮説を立てています。この目標を達成するための多くの課題の中で、最も重要なのはビジュアル履歴に含まれる多様性とノイズです。これには、推薦タスクに必ずしも関連しない画像、ユーザーの興味を反映していない画像、あるいは好みに関連しない可能性がある画像が含まれています。既存の推薦システムは、オンラインショッピングの履歴などのタスク固有のユーザーインタラクションログに依存するか、テキスト信号に焦点を当てています。私たちは、画像表現を抽出し、フィルタリングし、洗練し、これらの信号を個人化に活用する新しいアプローチであるVisualLensを提案しています。私たちは、タスクに依存しないビジュアル履歴を持つ2つの新しいベンチマークを作成し、当社の手法がHit@3で最先端の推薦手法よりも5-10%、GPT-4oよりも2-5%改善されることを示しています。私たちのアプローチは、従来の方法が失敗するシナリオにおける個人化推薦の道を開いています。

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.