VisualLens: Персонализация через визуальную историю

VisualLens: Personalization through Visual History

November 25, 2024

Авторы: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Аннотация

Мы предполагаем, что история визуальных данных пользователя, отражающая их повседневную жизнь, предоставляет ценные понимания их интересов и предпочтений, и может быть использована для персонализации. Среди многих вызовов для достижения этой цели, главным является разнообразие и шумы в визуальной истории, содержащей изображения, не обязательно связанные с задачей рекомендации, не обязательно отражающие интересы пользователя или даже не обязательно имеющие отношение к предпочтениям. Существующие системы рекомендаций либо опираются на логи взаимодействия пользователя, специфичные для задачи, такие как история онлайн-покупок для рекомендаций по покупкам, либо фокусируются на текстовых сигналах. Мы предлагаем новый подход, VisualLens, который извлекает, фильтрует и улучшает представления изображений, и использует эти сигналы для персонализации. Мы создали два новых эталона с задаче-агностическими визуальными историями и показываем, что наш метод улучшает рекомендации по сравнению с передовыми методами на 5-10% по Hit@3, и улучшает результаты по сравнению с GPT-4o на 2-5%. Наш подход прокладывает путь для персонализированных рекомендаций в сценариях, где традиционные методы не справляются.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.