SPAR: Recomendação Personalizada Baseada em Conteúdo via Atenção de Engajamento Prolongado

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

February 16, 2024

Autores: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

cs.AI

Resumo

Aproveitar os históricos de engajamento de longo prazo dos usuários é essencial para recomendações de conteúdo personalizadas. O sucesso dos modelos de linguagem pré-treinados (PLMs) em PLN levou ao seu uso na codificação de históricos de usuários e itens candidatos, enquadrando as recomendações de conteúdo como tarefas de correspondência semântica textual. No entanto, trabalhos existentes ainda enfrentam dificuldades ao processar textos históricos de usuários muito longos e interações insuficientes entre usuários e itens. Neste artigo, introduzimos um framework de recomendação baseado em conteúdo, SPAR, que aborda efetivamente os desafios de extração holística de interesses do usuário a partir de um histórico de engajamento longo. Ele faz isso aproveitando PLMs, camadas de poli-atenção e mecanismos de esparsidade de atenção para codificar o histórico do usuário de maneira baseada em sessões. As características do lado do usuário e do item são suficientemente fundidas para a previsão de engajamento, mantendo representações independentes para ambos os lados, o que é eficiente para a implantação prática do modelo. Além disso, aprimoramos o perfilamento do usuário explorando modelos de linguagem de grande escala (LLMs) para extrair interesses globais do histórico de engajamento do usuário. Experimentos extensivos em dois conjuntos de dados de referência demonstram que nosso framework supera os métodos state-of-the-art (SoTA) existentes.

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.