Grote Taalmodellen zijn Concurrerende Near Cold-start Aanbevelingssystemen voor Taal- en Itemgebaseerde Voorkeuren

Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences

July 26, 2023

Auteurs: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon

cs.AI

Samenvatting

Traditionele aanbevelingssystemen maken gebruik van de geschiedenis van gebruikersvoorkeuren voor items om nieuw inhoud aan te bevelen die gebruikers mogelijk leuk vinden. Moderne dialooginterfaces die gebruikers in staat stellen om op taal gebaseerde voorkeuren uit te drukken, bieden echter een fundamenteel andere modaliteit voor het invoeren van voorkeuren. Geïnspireerd door recente successen van prompting-paradigma's voor grote taalmodellen (LLMs), onderzoeken we het gebruik ervan voor het maken van aanbevelingen op basis van zowel itemgebaseerde als taalgebaseerde voorkeuren, in vergelijking met state-of-the-art itemgebaseerde collaboratieve filteringsmethoden (CF). Om dit onderzoek te ondersteunen, verzamelen we een nieuwe dataset die bestaat uit zowel itemgebaseerde als taalgebaseerde voorkeuren die zijn verzameld van gebruikers, samen met hun beoordelingen van een verscheidenheid aan (bevooroordeelde) aanbevolen items en (onbevooroordeelde) willekeurige items. Onder de talrijke experimentele resultaten vinden we dat LLMs een concurrerende aanbevelingsprestatie bieden voor puur taalgebaseerde voorkeuren (zonder itemvoorkeuren) in het bijna cold-start geval in vergelijking met itemgebaseerde CF-methoden, ondanks het ontbreken van gesuperviseerde training voor deze specifieke taak (zero-shot) of slechts een paar labels (few-shot). Dit is bijzonder veelbelovend omdat taalgebaseerde voorkeursrepresentaties beter verklaarbaar en controleerbaar zijn dan itemgebaseerde of vectorgebaseerde representaties.

English

Traditional recommender systems leverage users' item preference history to recommend novel content that users may like. However, modern dialog interfaces that allow users to express language-based preferences offer a fundamentally different modality for preference input. Inspired by recent successes of prompting paradigms for large language models (LLMs), we study their use for making recommendations from both item-based and language-based preferences in comparison to state-of-the-art item-based collaborative filtering (CF) methods. To support this investigation, we collect a new dataset consisting of both item-based and language-based preferences elicited from users along with their ratings on a variety of (biased) recommended items and (unbiased) random items. Among numerous experimental results, we find that LLMs provide competitive recommendation performance for pure language-based preferences (no item preferences) in the near cold-start case in comparison to item-based CF methods, despite having no supervised training for this specific task (zero-shot) or only a few labels (few-shot). This is particularly promising as language-based preference representations are more explainable and scrutable than item-based or vector-based representations.