I modelli linguistici di grandi dimensioni sono competitivi come sistemi di raccomandazione in condizioni di cold-start per preferenze basate sul linguaggio e sugli elementi.

Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences

July 26, 2023

Autori: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon

cs.AI

Abstract

I tradizionali sistemi di raccomandazione sfruttano la cronologia delle preferenze degli utenti sugli articoli per suggerire nuovi contenuti che potrebbero piacere. Tuttavia, le moderne interfacce dialogiche che consentono agli utenti di esprimere preferenze basate sul linguaggio offrono una modalità di input delle preferenze fondamentalmente diversa. Ispirati dai recenti successi dei paradigmi di prompting per i grandi modelli linguistici (LLM), ne studiamo l'uso per effettuare raccomandazioni sia da preferenze basate sugli articoli che da preferenze basate sul linguaggio, confrontandoli con i metodi più avanzati di filtraggio collaborativo (CF) basati sugli articoli. Per supportare questa indagine, raccogliamo un nuovo dataset composto sia da preferenze basate sugli articoli che da preferenze basate sul linguaggio, raccolte dagli utenti insieme alle loro valutazioni su una varietà di articoli raccomandati (con bias) e articoli casuali (senza bias). Tra i numerosi risultati sperimentali, scopriamo che gli LLM offrono prestazioni competitive per le raccomandazioni basate esclusivamente su preferenze linguistiche (nessuna preferenza sugli articoli) nel caso di quasi cold-start rispetto ai metodi CF basati sugli articoli, nonostante non abbiano un addestramento supervisionato specifico per questo compito (zero-shot) o solo poche etichette (few-shot). Questo è particolarmente promettente poiché le rappresentazioni delle preferenze basate sul linguaggio sono più spiegabili e verificabili rispetto alle rappresentazioni basate sugli articoli o su vettori.

English

Traditional recommender systems leverage users' item preference history to recommend novel content that users may like. However, modern dialog interfaces that allow users to express language-based preferences offer a fundamentally different modality for preference input. Inspired by recent successes of prompting paradigms for large language models (LLMs), we study their use for making recommendations from both item-based and language-based preferences in comparison to state-of-the-art item-based collaborative filtering (CF) methods. To support this investigation, we collect a new dataset consisting of both item-based and language-based preferences elicited from users along with their ratings on a variety of (biased) recommended items and (unbiased) random items. Among numerous experimental results, we find that LLMs provide competitive recommendation performance for pure language-based preferences (no item preferences) in the near cold-start case in comparison to item-based CF methods, despite having no supervised training for this specific task (zero-shot) or only a few labels (few-shot). This is particularly promising as language-based preference representations are more explainable and scrutable than item-based or vector-based representations.