Modelos de Linguagem de Grande Porte são Recomendadores Competitivos em Condições Quase de Início Frio para Preferências Baseadas em Linguagem e Itens

Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences

July 26, 2023

Autores: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon

cs.AI

Resumo

Os sistemas tradicionais de recomendação utilizam o histórico de preferências de itens dos usuários para sugerir novos conteúdos que eles possam gostar. No entanto, as interfaces modernas de diálogo que permitem aos usuários expressar preferências baseadas em linguagem oferecem uma modalidade fundamentalmente diferente para a entrada de preferências. Inspirados pelos recentes sucessos dos paradigmas de _prompting_ para modelos de linguagem de grande escala (LLMs), estudamos seu uso para fazer recomendações a partir de preferências baseadas tanto em itens quanto em linguagem, em comparação com métodos state-of-the-art de filtragem colaborativa (CF) baseada em itens. Para apoiar essa investigação, coletamos um novo conjunto de dados que consiste em preferências baseadas em itens e em linguagem, obtidas de usuários, juntamente com suas avaliações sobre uma variedade de itens recomendados (tendenciosos) e itens aleatórios (não tendenciosos). Dentre os diversos resultados experimentais, descobrimos que os LLMs oferecem um desempenho competitivo de recomendação para preferências puramente baseadas em linguagem (sem preferências de itens) em casos próximos ao _cold-start_, em comparação com métodos de CF baseados em itens, apesar de não terem treinamento supervisionado para essa tarefa específica (_zero-shot_) ou apenas algumas etiquetas (_few-shot_). Isso é particularmente promissor, pois as representações de preferências baseadas em linguagem são mais explicáveis e inspecionáveis do que as representações baseadas em itens ou vetores.

English

Traditional recommender systems leverage users' item preference history to recommend novel content that users may like. However, modern dialog interfaces that allow users to express language-based preferences offer a fundamentally different modality for preference input. Inspired by recent successes of prompting paradigms for large language models (LLMs), we study their use for making recommendations from both item-based and language-based preferences in comparison to state-of-the-art item-based collaborative filtering (CF) methods. To support this investigation, we collect a new dataset consisting of both item-based and language-based preferences elicited from users along with their ratings on a variety of (biased) recommended items and (unbiased) random items. Among numerous experimental results, we find that LLMs provide competitive recommendation performance for pure language-based preferences (no item preferences) in the near cold-start case in comparison to item-based CF methods, despite having no supervised training for this specific task (zero-shot) or only a few labels (few-shot). This is particularly promising as language-based preference representations are more explainable and scrutable than item-based or vector-based representations.