VisualLens: Personalización a través de la Historia Visual

VisualLens: Personalization through Visual History

November 25, 2024

Autores: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Resumen

Hacemos la hipótesis de que el historial visual de un usuario con imágenes que reflejan su vida diaria, ofrece valiosas perspectivas sobre sus intereses y preferencias, y puede ser aprovechado para la personalización. Entre los numerosos desafíos para lograr este objetivo, el principal es la diversidad y el ruido en el historial visual, que contiene imágenes no necesariamente relacionadas con una tarea de recomendación, no reflejando necesariamente el interés del usuario, o incluso no siendo necesariamente relevante para sus preferencias. Los sistemas de recomendación existentes se basan en registros de interacción de usuarios específicos de la tarea, como el historial de compras en línea para recomendaciones de compras, o se centran en señales de texto. Proponemos un enfoque novedoso, VisualLens, que extrae, filtra y perfecciona representaciones de imágenes, y aprovecha estas señales para la personalización. Creamos dos nuevos puntos de referencia con historiales visuales agnósticos a la tarea, y mostramos que nuestro método mejora las recomendaciones de vanguardia en un 5-10% en Hit@3, y mejora en un 2-5% sobre GPT-4o. Nuestro enfoque allana el camino para recomendaciones personalizadas en escenarios donde los métodos tradicionales fallan.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.