大規模言語モデルは、言語ベースおよびアイテムベースの嗜好において、コールドスタートに近い状況での推薦システムとして競争力がある。
Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences
July 26, 2023
著者: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon
cs.AI
要旨
従来のレコメンダーシステムは、ユーザーのアイテム選好履歴を活用して、ユーザーが好む可能性のある新しいコンテンツを推薦します。しかし、ユーザーが言語ベースの選好を表現できる現代の対話インターフェースは、選好入力の根本的に異なるモダリティを提供します。大規模言語モデル（LLM）のプロンプティングパラダイムの最近の成功に触発され、我々は、アイテムベースと言語ベースの選好の両方から推薦を行う際のLLMの利用を、最先端のアイテムベース協調フィルタリング（CF）手法と比較して研究します。この調査を支援するため、我々は、ユーザーから収集したアイテムベースと言語ベースの選好、および様々な（バイアスのかかった）推薦アイテムと（バイアスのない）ランダムアイテムに対する評価からなる新しいデータセットを収集します。数多くの実験結果の中でも、LLMは、特定のタスクに対する教師ありトレーニングがない（ゼロショット）か、わずかなラベルしかない（少数ショット）場合でも、純粋な言語ベースの選好（アイテム選好なし）において、アイテムベースCF手法と比較して競争力のある推薦性能を提供することがわかりました。これは特に有望です。なぜなら、言語ベースの選好表現は、アイテムベースやベクトルベースの表現よりも説明可能で検証可能だからです。
English
Traditional recommender systems leverage users' item preference history to
recommend novel content that users may like. However, modern dialog interfaces
that allow users to express language-based preferences offer a fundamentally
different modality for preference input. Inspired by recent successes of
prompting paradigms for large language models (LLMs), we study their use for
making recommendations from both item-based and language-based preferences in
comparison to state-of-the-art item-based collaborative filtering (CF) methods.
To support this investigation, we collect a new dataset consisting of both
item-based and language-based preferences elicited from users along with their
ratings on a variety of (biased) recommended items and (unbiased) random items.
Among numerous experimental results, we find that LLMs provide competitive
recommendation performance for pure language-based preferences (no item
preferences) in the near cold-start case in comparison to item-based CF
methods, despite having no supervised training for this specific task
(zero-shot) or only a few labels (few-shot). This is particularly promising as
language-based preference representations are more explainable and scrutable
than item-based or vector-based representations.