SPAR: Recomendación Personalizada Basada en Contenido mediante Atención a Largo Plazo de Interacción

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

February 16, 2024

Autores: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

cs.AI

Resumen

Aprovechar los historiales de interacción prolongados de los usuarios es esencial para las recomendaciones de contenido personalizadas. El éxito de los modelos de lenguaje preentrenados (PLMs) en el procesamiento del lenguaje natural (NLP) ha llevado a su uso para codificar los historiales de los usuarios y los elementos candidatos, enmarcando las recomendaciones de contenido como tareas de emparejamiento semántico textual. Sin embargo, los trabajos existentes aún enfrentan dificultades para procesar textos históricos de usuarios muy extensos y la insuficiente interacción usuario-elemento. En este artículo, presentamos un marco de recomendación basado en contenido, SPAR, que aborda eficazmente los desafíos de extraer intereses holísticos del usuario a partir de un historial de interacción prolongado. Lo logra aprovechando PLMs, capas de poli-atención y mecanismos de dispersión de atención para codificar el historial del usuario de manera basada en sesiones. Las características del lado del usuario y del elemento se fusionan adecuadamente para la predicción de interacción, manteniendo representaciones independientes para ambos lados, lo que resulta eficiente para el despliegue práctico del modelo. Además, mejoramos la creación de perfiles de usuario al explotar modelos de lenguaje de gran escala (LLM) para extraer intereses globales del historial de interacción del usuario. Experimentos extensos en dos conjuntos de datos de referencia demuestran que nuestro marco supera a los métodos más avanzados (SoTA) existentes.

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.