SPAR : Recommandation personnalisée basée sur le contenu via une attention prolongée à l'engagement
SPAR: Personalized Content-Based Recommendation via Long Engagement Attention
February 16, 2024
papers.authors: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long
cs.AI
papers.abstract
L'exploitation des longues histoires d'engagement des utilisateurs est essentielle pour des recommandations de contenu personnalisées. Le succès des modèles de langage pré-entraînés (PLMs) en traitement du langage naturel (NLP) a conduit à leur utilisation pour encoder les historiques des utilisateurs et les éléments candidats, en formulant les recommandations de contenu comme des tâches d'appariement sémantique textuel. Cependant, les travaux existants peinent encore à traiter des textes historiques d'utilisateurs très longs et des interactions insuffisantes entre utilisateurs et éléments. Dans cet article, nous introduisons un cadre de recommandation basé sur le contenu, SPAR, qui aborde efficacement les défis de l'extraction globale des intérêts des utilisateurs à partir de leur longue histoire d'engagement. Il y parvient en exploitant un PLM, des couches de poly-attention et des mécanismes de parcimonie attentionnelle pour encoder l'historique de l'utilisateur de manière sessionnelle. Les caractéristiques des côtés utilisateur et élément sont suffisamment fusionnées pour la prédiction d'engagement tout en maintenant des représentations indépendantes pour les deux côtés, ce qui est efficace pour le déploiement pratique du modèle. De plus, nous améliorons le profilage des utilisateurs en exploitant un modèle de langage de grande taille (LLM) pour extraire des intérêts globaux de l'historique d'engagement des utilisateurs. Des expériences approfondies sur deux ensembles de données de référence démontrent que notre cadre surpasse les méthodes existantes de pointe (SoTA).
English
Leveraging users' long engagement histories is essential for personalized
content recommendations. The success of pretrained language models (PLMs) in
NLP has led to their use in encoding user histories and candidate items,
framing content recommendations as textual semantic matching tasks. However,
existing works still struggle with processing very long user historical text
and insufficient user-item interaction. In this paper, we introduce a
content-based recommendation framework, SPAR, which effectively tackles the
challenges of holistic user interest extraction from the long user engagement
history. It achieves so by leveraging PLM, poly-attention layers and attention
sparsity mechanisms to encode user's history in a session-based manner. The
user and item side features are sufficiently fused for engagement prediction
while maintaining standalone representations for both sides, which is efficient
for practical model deployment. Moreover, we enhance user profiling by
exploiting large language model (LLM) to extract global interests from user
engagement history. Extensive experiments on two benchmark datasets demonstrate
that our framework outperforms existing state-of-the-art (SoTA) methods.