SPAR: 長期的エンゲージメント注意に基づくパーソナライズドコンテンツベース推薦

要旨

ユーザーの長期的なエンゲージメント履歴を活用することは、パーソナライズされたコンテンツ推薦において不可欠です。自然言語処理（NLP）における事前学習済み言語モデル（PLM）の成功を受け、ユーザー履歴と候補アイテムをエンコードするためにPLMが使用され、コンテンツ推薦をテキストの意味的マッチングタスクとして捉えるアプローチが進んでいます。しかし、既存の研究では、非常に長いユーザー履歴テキストの処理や、ユーザーとアイテム間の相互作用が不十分であるという課題に直面しています。本論文では、コンテンツベースの推薦フレームワークであるSPARを紹介します。SPARは、長いユーザーエンゲージメント履歴から包括的なユーザー興味を抽出するという課題に効果的に対処します。これは、PLM、ポリアテンションレイヤー、およびアテンションスパース性メカニズムを活用し、ユーザー履歴をセッションベースでエンコードすることで実現されます。ユーザー側とアイテム側の特徴は、エンゲージメント予測のために十分に融合されつつ、両側の独立した表現を維持するため、実用的なモデル展開において効率的です。さらに、大規模言語モデル（LLM）を活用してユーザーエンゲージメント履歴からグローバルな興味を抽出することで、ユーザープロファイリングを強化します。2つのベンチマークデータセットでの大規模な実験により、本フレームワークが既存の最先端（SoTA）手法を上回ることを実証しました。

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.

SPAR: 長期的エンゲージメント注意に基づくパーソナライズドコンテンツベース推薦

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

要旨

Support