SPAR: Gepersonaliseerde inhoudsgebaseerde aanbeveling via langdurige betrokkenheidsaandacht

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

February 16, 2024

Auteurs: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

cs.AI

Samenvatting

Het benutten van de lange betrokkenheidsgeschiedenis van gebruikers is essentieel voor gepersonaliseerde contentaanbevelingen. Het succes van vooraf getrainde taalmodelen (PLM's) in NLP heeft geleid tot hun gebruik bij het coderen van gebruikersgeschiedenissen en kandidaat-items, waarbij contentaanbevelingen worden geformuleerd als tekstuele semantische matchingtaken. Bestaande methoden hebben echter nog steeds moeite met het verwerken van zeer lange gebruikershistorische teksten en onvoldoende gebruikers-item-interactie. In dit artikel introduceren we een op content gebaseerd aanbevelingsframework, SPAR, dat effectief de uitdagingen aanpakt van het extraheren van holistische gebruikersinteresses uit de lange betrokkenheidsgeschiedenis van gebruikers. Dit wordt bereikt door gebruik te maken van PLM, poly-attentielagen en aandachtssparsity-mechanismen om de geschiedenis van de gebruiker op een sessiegebaseerde manier te coderen. De kenmerken van de gebruikers- en itemzijde worden voldoende samengevoegd voor betrokkenheidsvoorspelling, terwijl afzonderlijke representaties voor beide zijden behouden blijven, wat efficiënt is voor praktische modelimplementatie. Bovendien verbeteren we gebruikersprofielen door gebruik te maken van grote taalmodelen (LLM) om globale interesses uit de betrokkenheidsgeschiedenis van gebruikers te extraheren. Uitgebreide experimenten op twee benchmarkdatasets tonen aan dat ons framework bestaande state-of-the-art (SoTA) methoden overtreft.

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.