Los Modelos de Lenguaje a Gran Escala son Recomendadores Competitivos Casi desde el Inicio para Preferencias Basadas en Lenguaje y en Ítems.

Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences

July 26, 2023

Autores: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon

cs.AI

Resumen

Los sistemas de recomendación tradicionales aprovechan el historial de preferencias de ítems de los usuarios para recomendar contenido novedoso que les pueda gustar. Sin embargo, las interfaces de diálogo modernas que permiten a los usuarios expresar preferencias basadas en lenguaje ofrecen una modalidad fundamentalmente diferente para la entrada de preferencias. Inspirados por los recientes éxitos de los paradigmas de "prompting" en modelos de lenguaje de gran escala (LLMs), estudiamos su uso para hacer recomendaciones a partir de preferencias basadas tanto en ítems como en lenguaje, en comparación con métodos de filtrado colaborativo (CF) basados en ítems de última generación. Para respaldar esta investigación, recopilamos un nuevo conjunto de datos que incluye preferencias basadas en ítems y en lenguaje, obtenidas de los usuarios junto con sus calificaciones sobre una variedad de ítems recomendados (sesgados) y ítems aleatorios (no sesgados). Entre numerosos resultados experimentales, encontramos que los LLMs ofrecen un rendimiento competitivo en recomendaciones para preferencias puramente basadas en lenguaje (sin preferencias de ítems) en casos cercanos al "cold-start", en comparación con los métodos de CF basados en ítems, a pesar de no haber recibido entrenamiento supervisado para esta tarea específica (zero-shot) o contar con solo unas pocas etiquetas (few-shot). Esto es particularmente prometedor, ya que las representaciones de preferencias basadas en lenguaje son más explicables y examinables que las representaciones basadas en ítems o vectores.

English

Traditional recommender systems leverage users' item preference history to recommend novel content that users may like. However, modern dialog interfaces that allow users to express language-based preferences offer a fundamentally different modality for preference input. Inspired by recent successes of prompting paradigms for large language models (LLMs), we study their use for making recommendations from both item-based and language-based preferences in comparison to state-of-the-art item-based collaborative filtering (CF) methods. To support this investigation, we collect a new dataset consisting of both item-based and language-based preferences elicited from users along with their ratings on a variety of (biased) recommended items and (unbiased) random items. Among numerous experimental results, we find that LLMs provide competitive recommendation performance for pure language-based preferences (no item preferences) in the near cold-start case in comparison to item-based CF methods, despite having no supervised training for this specific task (zero-shot) or only a few labels (few-shot). This is particularly promising as language-based preference representations are more explainable and scrutable than item-based or vector-based representations.