Große Sprachmodelle sind wettbewerbsfähige Near-Cold-Start-Empfehlungssysteme für sprach- und artikelbasierte Präferenzen.
Large Language Models are Competitive Near Cold-start Recommenders for Language- and Item-based Preferences
July 26, 2023
Autoren: Scott Sanner, Krisztian Balog, Filip Radlinski, Ben Wedin, Lucas Dixon
cs.AI
Zusammenfassung
Traditionelle Empfehlungssysteme nutzen die Artikelpräferenzhistorie von Nutzern, um neue Inhalte zu empfehlen, die den Nutzern gefallen könnten. Moderne Dialogschnittstellen, die es Nutzern ermöglichen, sprachbasierte Präferenzen auszudrücken, bieten jedoch eine grundlegend andere Modalität für die Eingabe von Präferenzen. Inspiriert von den jüngsten Erfolgen von Prompting-Paradigmen für große Sprachmodelle (LLMs), untersuchen wir deren Einsatz zur Erstellung von Empfehlungen sowohl aus artikelbasierten als auch aus sprachbasierten Präferenzen im Vergleich zu state-of-the-art artikelbasierten kollaborativen Filterungsmethoden (CF). Um diese Untersuchung zu unterstützen, sammeln wir einen neuen Datensatz, der sowohl artikelbasierte als auch sprachbasierte Präferenzen enthält, die von Nutzern zusammen mit ihren Bewertungen für eine Vielzahl von (verzerrten) empfohlenen Artikeln und (unverzerrten) zufälligen Artikeln erhoben wurden. Unter zahlreichen experimentellen Ergebnissen stellen wir fest, dass LLMs im nahen Cold-Start-Fall für rein sprachbasierte Präferenzen (keine Artikelpräferenzen) im Vergleich zu artikelbasierten CF-Methoden eine wettbewerbsfähige Empfehlungsleistung bieten, obwohl sie für diese spezielle Aufgabe kein überwachtes Training (Zero-Shot) oder nur wenige Labels (Few-Shot) erhalten haben. Dies ist besonders vielversprechend, da sprachbasierte Präferenzdarstellungen erklärbarer und nachvollziehbarer sind als artikelbasierte oder vektorbasierte Darstellungen.
English
Traditional recommender systems leverage users' item preference history to
recommend novel content that users may like. However, modern dialog interfaces
that allow users to express language-based preferences offer a fundamentally
different modality for preference input. Inspired by recent successes of
prompting paradigms for large language models (LLMs), we study their use for
making recommendations from both item-based and language-based preferences in
comparison to state-of-the-art item-based collaborative filtering (CF) methods.
To support this investigation, we collect a new dataset consisting of both
item-based and language-based preferences elicited from users along with their
ratings on a variety of (biased) recommended items and (unbiased) random items.
Among numerous experimental results, we find that LLMs provide competitive
recommendation performance for pure language-based preferences (no item
preferences) in the near cold-start case in comparison to item-based CF
methods, despite having no supervised training for this specific task
(zero-shot) or only a few labels (few-shot). This is particularly promising as
language-based preference representations are more explainable and scrutable
than item-based or vector-based representations.