SPAR: Raccomandazione Personalizzata Basata sui Contenuti tramite Attenzione Prolungata all'Engagement

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

February 16, 2024

Autori: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

cs.AI

Abstract

Sfruttare le lunghe storie di interazione degli utenti è essenziale per raccomandazioni di contenuti personalizzate. Il successo dei modelli linguistici pre-addestrati (PLM) nel campo dell'elaborazione del linguaggio naturale (NLP) ha portato al loro utilizzo per codificare le storie degli utenti e gli elementi candidati, inquadrando le raccomandazioni di contenuti come compiti di corrispondenza semantica testuale. Tuttavia, i lavori esistenti continuano a lottare con l'elaborazione di testi storici degli utenti molto lunghi e con un'interazione insufficiente tra utente e elemento. In questo articolo, introduciamo un framework di raccomandazione basato sui contenuti, SPAR, che affronta efficacemente le sfide dell'estrazione degli interessi olistici degli utenti dalla lunga storia di interazione. Ciò viene ottenuto sfruttando PLM, strati di poli-attenzione e meccanismi di sparsità dell'attenzione per codificare la storia dell'utente in modo basato su sessioni. Le caratteristiche dell'utente e dell'elemento vengono sufficientemente fuse per la previsione dell'interazione, mantenendo rappresentazioni autonome per entrambe le parti, il che è efficiente per il dispiegamento pratico del modello. Inoltre, miglioriamo il profilo dell'utente sfruttando un modello linguistico di grandi dimensioni (LLM) per estrarre interessi globali dalla storia di interazione dell'utente. Esperimenti estesi su due dataset di riferimento dimostrano che il nostro framework supera i metodi state-of-the-art (SoTA) esistenti.

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.