VisualLens: Personalização através da História Visual

VisualLens: Personalization through Visual History

November 25, 2024

Autores: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Resumo

Hipothetizamos que o histórico visual de um usuário com imagens refletindo sua vida diária oferece insights valiosos sobre seus interesses e preferências, e pode ser aproveitado para personalização. Entre os muitos desafios para alcançar esse objetivo, o principal é a diversidade e ruídos no histórico visual, contendo imagens não necessariamente relacionadas a uma tarefa de recomendação, não refletindo necessariamente o interesse do usuário, ou até mesmo não sendo relevantes para preferências. Os sistemas de recomendação existentes geralmente se baseiam em registros de interação do usuário específicos da tarefa, como histórico de compras online para recomendações de compras, ou se concentram em sinais de texto. Propomos uma abordagem inovadora, VisualLens, que extrai, filtra e aprimora representações de imagens, e aproveita esses sinais para personalização. Criamos dois novos benchmarks com históricos visuais agnósticos à tarefa, e demonstramos que nosso método melhora em relação às recomendações de última geração em 5-10% no Hit@3, e supera o GPT-4o em 2-5%. Nossa abordagem abre caminho para recomendações personalizadas em cenários onde os métodos tradicionais falham.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.