VisualLens: Personalisierung durch visuelle Historie

VisualLens: Personalization through Visual History

November 25, 2024

Autoren: Wang Bill Zhu, Deqing Fu, Kai Sun, Yi Lu, Zhaojiang Lin, Seungwhan Moon, Kanika Narang, Mustafa Canim, Yue Liu, Anuj Kumar, Xin Luna Dong

cs.AI

Zusammenfassung

Wir postulieren, dass die visuelle Historie eines Benutzers mit Bildern, die ihr tägliches Leben widerspiegeln, wertvolle Einblicke in ihre Interessen und Vorlieben bietet und für die Personalisierung genutzt werden kann. Unter den vielen Herausforderungen, um dieses Ziel zu erreichen, ist die Vielfalt und Störungen in der visuellen Historie am bedeutendsten, die Bilder enthält, die nicht unbedingt mit einer Empfehlungsaufgabe zusammenhängen, nicht unbedingt die Interessen des Benutzers widerspiegeln oder sogar nicht unbedingt relevant für Vorlieben sind. Bestehende Empfehlungssysteme stützen sich entweder auf aufgabenspezifische Benutzerinteraktionsprotokolle, wie beispielsweise die Online-Shopping-Historie für Einkaufsempfehlungen, oder konzentrieren sich auf Textsignale. Wir schlagen einen neuartigen Ansatz namens VisualLens vor, der Bildrepräsentationen extrahiert, filtert und verfeinert und diese Signale für die Personalisierung nutzt. Wir haben zwei neue Benchmarks mit aufgabenneutralen visuellen Historien erstellt und zeigen, dass unsere Methode die Empfehlungen im Vergleich zu den modernsten Empfehlungen um 5-10% bei Hit@3 verbessert und im Vergleich zu GPT-4o um 2-5% übertrifft. Unser Ansatz ebnet den Weg für personalisierte Empfehlungen in Szenarien, in denen traditionelle Methoden versagen.

English

We hypothesize that a user's visual history with images reflecting their daily life, offers valuable insights into their interests and preferences, and can be leveraged for personalization. Among the many challenges to achieve this goal, the foremost is the diversity and noises in the visual history, containing images not necessarily related to a recommendation task, not necessarily reflecting the user's interest, or even not necessarily preference-relevant. Existing recommendation systems either rely on task-specific user interaction logs, such as online shopping history for shopping recommendations, or focus on text signals. We propose a novel approach, VisualLens, that extracts, filters, and refines image representations, and leverages these signals for personalization. We created two new benchmarks with task-agnostic visual histories, and show that our method improves over state-of-the-art recommendations by 5-10% on Hit@3, and improves over GPT-4o by 2-5%. Our approach paves the way for personalized recommendations in scenarios where traditional methods fail.