Les grands modèles de langage sont compétitifs en tant que systèmes de recommandation quasi sans historique pour les préférences basées sur le langage et sur les éléments.

Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences

July 26, 2023

Auteurs: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon

cs.AI

Résumé

Les systèmes de recommandation traditionnels exploitent l'historique des préférences des utilisateurs pour les articles afin de recommander de nouveaux contenus susceptibles de leur plaire. Cependant, les interfaces de dialogue modernes, qui permettent aux utilisateurs d'exprimer des préférences basées sur le langage, offrent une modalité fondamentalement différente pour la saisie des préférences. Inspirés par les récents succès des paradigmes de prompting pour les grands modèles de langage (LLMs), nous étudions leur utilisation pour formuler des recommandations à partir de préférences basées sur les articles et sur le langage, en comparaison avec les méthodes de filtrage collaboratif (CF) basées sur les articles les plus avancées. Pour soutenir cette investigation, nous collectons un nouveau jeu de données comprenant à la fois des préférences basées sur les articles et sur le langage, recueillies auprès des utilisateurs, ainsi que leurs évaluations sur une variété d'articles recommandés (biaisés) et d'articles aléatoires (non biaisés). Parmi de nombreux résultats expérimentaux, nous constatons que les LLMs offrent une performance compétitive en matière de recommandation pour des préférences purement basées sur le langage (sans préférences d'articles) dans le cas quasi de démarrage à froid, en comparaison avec les méthodes de CF basées sur les articles, et ce malgré l'absence de formation supervisée pour cette tâche spécifique (zero-shot) ou seulement quelques étiquettes (few-shot). Cela est particulièrement prometteur, car les représentations des préférences basées sur le langage sont plus explicables et scrutables que les représentations basées sur les articles ou sur des vecteurs.

English

Traditional recommender systems leverage users' item preference history to recommend novel content that users may like. However, modern dialog interfaces that allow users to express language-based preferences offer a fundamentally different modality for preference input. Inspired by recent successes of prompting paradigms for large language models (LLMs), we study their use for making recommendations from both item-based and language-based preferences in comparison to state-of-the-art item-based collaborative filtering (CF) methods. To support this investigation, we collect a new dataset consisting of both item-based and language-based preferences elicited from users along with their ratings on a variety of (biased) recommended items and (unbiased) random items. Among numerous experimental results, we find that LLMs provide competitive recommendation performance for pure language-based preferences (no item preferences) in the near cold-start case in comparison to item-based CF methods, despite having no supervised training for this specific task (zero-shot) or only a few labels (few-shot). This is particularly promising as language-based preference representations are more explainable and scrutable than item-based or vector-based representations.