대규모 언어 모델은 언어 기반 및 아이템 기호 선호도에 대한 콜드 스타트 추천 시스템으로서 경쟁력을 갖추고 있습니다.

Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences

July 26, 2023

저자: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon

cs.AI

초록

기존의 추천 시스템은 사용자의 아이템 선호 이력을 활용하여 사용자가 좋아할 만한 새로운 콘텐츠를 추천합니다. 그러나 사용자가 언어 기반 선호도를 표현할 수 있는 현대적인 대화형 인터페이스는 선호도 입력에 있어 근본적으로 다른 방식을 제공합니다. 대규모 언어 모델(LLM)의 프롬프팅 패러다임의 최근 성공에 영감을 받아, 우리는 아이템 기반 및 언어 기반 선호도 모두를 활용한 추천을 최신 아이템 기반 협업 필터링(CF) 방법과 비교하여 연구합니다. 이 연구를 지원하기 위해, 우리는 사용자로부터 수집된 아이템 기반 및 언어 기반 선호도와 함께 다양한 (편향된) 추천 아이템 및 (편향되지 않은) 무작위 아이템에 대한 평점으로 구성된 새로운 데이터셋을 구축했습니다. 수많은 실험 결과 중에서, 우리는 LLM이 특정 작업에 대한 지도 학습 없이(zero-shot) 또는 소량의 레이블만 사용하여(few-shot) 아이템 기반 CF 방법과 비교하여 순수 언어 기반 선호도(아이템 선호도 없음)에 대해 근접한 콜드 스타트 상황에서 경쟁력 있는 추천 성능을 제공한다는 것을 발견했습니다. 이는 언어 기반 선호도 표현이 아이템 기반 또는 벡터 기반 표현보다 더 설명 가능하고 검토 가능하기 때문에 특히 유망합니다.

English

Traditional recommender systems leverage users' item preference history to recommend novel content that users may like. However, modern dialog interfaces that allow users to express language-based preferences offer a fundamentally different modality for preference input. Inspired by recent successes of prompting paradigms for large language models (LLMs), we study their use for making recommendations from both item-based and language-based preferences in comparison to state-of-the-art item-based collaborative filtering (CF) methods. To support this investigation, we collect a new dataset consisting of both item-based and language-based preferences elicited from users along with their ratings on a variety of (biased) recommended items and (unbiased) random items. Among numerous experimental results, we find that LLMs provide competitive recommendation performance for pure language-based preferences (no item preferences) in the near cold-start case in comparison to item-based CF methods, despite having no supervised training for this specific task (zero-shot) or only a few labels (few-shot). This is particularly promising as language-based preference representations are more explainable and scrutable than item-based or vector-based representations.