SPAR: Personalisierte inhaltsbasierte Empfehlungen durch langfristige Engagement-Aufmerksamkeit

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

February 16, 2024

papers.authors: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

cs.AI

papers.abstract

Die Nutzung der langen Engagement-Historie von Benutzern ist entscheidend für personalisierte Inhaltsempfehlungen. Der Erfolg vortrainierter Sprachmodelle (PLMs) im Bereich NLP hat zu deren Einsatz bei der Kodierung von Benutzerhistorien und Kandidatenartikeln geführt, wodurch Inhaltsempfehlungen als textuelle semantische Abgleichaufgaben formuliert werden. Allerdings kämpfen bestehende Ansätze noch immer mit der Verarbeitung sehr langer Benutzerhistorien und unzureichenden Benutzer-Item-Interaktionen. In diesem Artikel stellen wir ein inhaltsbasiertes Empfehlungsframework namens SPAR vor, das die Herausforderungen der ganzheitlichen Extraktion von Benutzerinteressen aus der langen Engagement-Historie effektiv bewältigt. Dies wird erreicht, indem PLMs, Poly-Attention-Schichten und Attention-Sparsity-Mechanismen genutzt werden, um die Benutzerhistorie in einer sitzungsbasierten Weise zu kodieren. Die Merkmale der Benutzer- und Item-Seite werden ausreichend fusioniert, um das Engagement vorherzusagen, während gleichzeitig eigenständige Repräsentationen für beide Seiten beibehalten werden, was für die praktische Modellbereitstellung effizient ist. Darüber hinaus verbessern wir die Benutzerprofilierung, indem wir große Sprachmodelle (LLMs) nutzen, um globale Interessen aus der Benutzerengagement-Historie zu extrahieren. Umfangreiche Experimente auf zwei Benchmark-Datensätzen zeigen, dass unser Framework bestehende State-of-the-Art (SoTA)-Methoden übertrifft.

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.