SPAR: 장기적 참여 주의력을 통한 개인 맞춤형 콘텐츠 기반 추천
SPAR: Personalized Content-Based Recommendation via Long Engagement Attention
February 16, 2024
저자: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long
cs.AI
초록
개인화된 콘텐츠 추천을 위해서는 사용자의 장기적인 참여 기록을 활용하는 것이 필수적입니다. 자연어 처리(NLP) 분야에서 사전 학습된 언어 모델(PLM)의 성공은 이러한 모델들이 사용자 기록과 후보 항목을 인코딩하는 데 사용되게 하였으며, 이는 콘텐츠 추천을 텍스트 의미 매칭 작업으로 프레임화하는 방식으로 이어졌습니다. 그러나 기존 연구들은 매우 긴 사용자 기록 텍스트를 처리하고 사용자-항목 상호작용이 부족한 문제를 해결하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 SPAR라는 콘텐츠 기반 추천 프레임워크를 소개하며, 이는 장기적인 사용자 참여 기록에서 전반적인 사용자 관심사를 효과적으로 추출하는 문제를 해결합니다. SPAR는 PLM, 다중 주의 계층(poly-attention layers), 그리고 주의 희소성 메커니즘(attention sparsity mechanisms)을 활용하여 사용자 기록을 세션 기반으로 인코딩합니다. 사용자와 항목 측면의 특징은 참여 예측을 위해 충분히 융합되면서도 양쪽의 독립적인 표현을 유지하여, 실제 모델 배포에 효율적입니다. 또한, 대규모 언어 모델(LLM)을 활용하여 사용자 참여 기록에서 전역 관심사를 추출함으로써 사용자 프로파일링을 강화합니다. 두 벤치마크 데이터셋에서의 광범위한 실험을 통해 우리의 프레임워크가 기존의 최첨단(SoTA) 방법들을 능가함을 입증하였습니다.
English
Leveraging users' long engagement histories is essential for personalized
content recommendations. The success of pretrained language models (PLMs) in
NLP has led to their use in encoding user histories and candidate items,
framing content recommendations as textual semantic matching tasks. However,
existing works still struggle with processing very long user historical text
and insufficient user-item interaction. In this paper, we introduce a
content-based recommendation framework, SPAR, which effectively tackles the
challenges of holistic user interest extraction from the long user engagement
history. It achieves so by leveraging PLM, poly-attention layers and attention
sparsity mechanisms to encode user's history in a session-based manner. The
user and item side features are sufficiently fused for engagement prediction
while maintaining standalone representations for both sides, which is efficient
for practical model deployment. Moreover, we enhance user profiling by
exploiting large language model (LLM) to extract global interests from user
engagement history. Extensive experiments on two benchmark datasets demonstrate
that our framework outperforms existing state-of-the-art (SoTA) methods.