SPAR: Персонализированная рекомендация на основе контента с использованием внимания к длительному взаимодействию

SPAR: Personalized Content-Based Recommendation via Long Engagement Attention

February 16, 2024

Авторы: Chiyu Zhang, Yifei Sun, Jun Chen, Jie Lei, Muhammad Abdul-Mageed, Sinong Wang, Rong Jin, Sem Park, Ning Yao, Bo Long

cs.AI

Аннотация

Использование длительной истории взаимодействия пользователей имеет ключевое значение для персонализированных рекомендаций контента. Успех предобученных языковых моделей (PLM) в области обработки естественного языка (NLP) привел к их применению для кодирования истории пользователей и кандидатов на рекомендации, что позволяет рассматривать задачу рекомендаций контента как задачу семантического сопоставления текстов. Однако существующие подходы по-прежнему сталкиваются с трудностями при обработке очень длинных текстов истории пользователей и недостаточного взаимодействия между пользователями и элементами контента. В данной статье мы представляем основанную на контенте рекомендательную систему SPAR, которая эффективно решает задачу извлечения целостных интересов пользователей из длительной истории их взаимодействия. Это достигается за счет использования PLM, поли-внимательных слоев и механизмов разреженности внимания для кодирования истории пользователей в сессионном формате. Особенности пользователей и элементов контента эффективно объединяются для прогнозирования взаимодействия, при этом сохраняются независимые представления для обеих сторон, что делает модель удобной для практического развертывания. Кроме того, мы улучшаем профилирование пользователей, используя крупные языковые модели (LLM) для извлечения глобальных интересов из истории взаимодействия. Эксперименты на двух эталонных наборах данных демонстрируют, что наша система превосходит существующие современные методы (SoTA).

English

Leveraging users' long engagement histories is essential for personalized content recommendations. The success of pretrained language models (PLMs) in NLP has led to their use in encoding user histories and candidate items, framing content recommendations as textual semantic matching tasks. However, existing works still struggle with processing very long user historical text and insufficient user-item interaction. In this paper, we introduce a content-based recommendation framework, SPAR, which effectively tackles the challenges of holistic user interest extraction from the long user engagement history. It achieves so by leveraging PLM, poly-attention layers and attention sparsity mechanisms to encode user's history in a session-based manner. The user and item side features are sufficiently fused for engagement prediction while maintaining standalone representations for both sides, which is efficient for practical model deployment. Moreover, we enhance user profiling by exploiting large language model (LLM) to extract global interests from user engagement history. Extensive experiments on two benchmark datasets demonstrate that our framework outperforms existing state-of-the-art (SoTA) methods.