Nutzung großer Sprachmodelle in konversationellen Empfehlungssystemen

Leveraging Large Language Models in Conversational Recommender Systems

May 13, 2023

Autoren: Luke Friedman, Sameer Ahuja, David Allen, Terry Tan, Hakim Sidahmed, Changbo Long, Jun Xie, Gabriel Schubiner, Ajay Patel, Harsh Lara, Brian Chu, Zexi Chen, Manoj Tiwari

cs.AI

Zusammenfassung

Ein konversationelles Empfehlungssystem (Conversational Recommender System, CRS) bietet Nutzern eine erhöhte Transparenz und Kontrolle, indem es ihnen ermöglicht, mit dem System über einen Echtzeit-Mehrrunden-Dialog zu interagieren. Kürzlich haben große Sprachmodelle (Large Language Models, LLMs) eine beispiellose Fähigkeit gezeigt, natürlich zu konversieren und Weltwissen sowie gesunden Menschenverstand in das Sprachverständnis einzubeziehen, wodurch das Potenzial dieses Paradigmas freigesetzt wird. Die effektive Nutzung von LLMs in einem CRS bringt jedoch neue technische Herausforderungen mit sich, darunter das korrekte Verstehen und Steuern komplexer Konversationen sowie das Abrufen von Informationen aus externen Quellen. Diese Probleme werden durch einen großen, sich entwickelnden Artikelkorpus und einen Mangel an Konversationsdaten für das Training verschärft. In diesem Artikel bieten wir einen Fahrplan für den Aufbau eines end-to-end großskaligen CRS unter Verwendung von LLMs. Insbesondere schlagen wir neue Implementierungen für das Verständnis von Nutzerpräferenzen, flexibles Dialogmanagement und erklärbare Empfehlungen als Teil einer integrierten Architektur vor, die von LLMs angetrieben wird. Für eine verbesserte Personalisierung beschreiben wir, wie ein LLM interpretierbare Nutzerprofile in natürlicher Sprache verarbeiten und sie zur Modulation des Sitzungskontexts verwenden kann. Um die Einschränkungen durch fehlende Konversationsdaten in Abwesenheit eines bestehenden produktiven CRS zu überwinden, schlagen wir Techniken für den Aufbau eines steuerbaren LLM-basierten Nutzersimulators vor, um synthetische Konversationen zu generieren. Als Proof of Concept stellen wir RecLLM vor, ein großskaliges CRS für YouTube-Videos, das auf LaMDA basiert, und demonstrieren seine Flüssigkeit und vielfältige Funktionalität anhand einiger illustrativer Beispielkonversationen.

English

A Conversational Recommender System (CRS) offers increased transparency and control to users by enabling them to engage with the system through a real-time multi-turn dialogue. Recently, Large Language Models (LLMs) have exhibited an unprecedented ability to converse naturally and incorporate world knowledge and common-sense reasoning into language understanding, unlocking the potential of this paradigm. However, effectively leveraging LLMs within a CRS introduces new technical challenges, including properly understanding and controlling a complex conversation and retrieving from external sources of information. These issues are exacerbated by a large, evolving item corpus and a lack of conversational data for training. In this paper, we provide a roadmap for building an end-to-end large-scale CRS using LLMs. In particular, we propose new implementations for user preference understanding, flexible dialogue management and explainable recommendations as part of an integrated architecture powered by LLMs. For improved personalization, we describe how an LLM can consume interpretable natural language user profiles and use them to modulate session-level context. To overcome conversational data limitations in the absence of an existing production CRS, we propose techniques for building a controllable LLM-based user simulator to generate synthetic conversations. As a proof of concept we introduce RecLLM, a large-scale CRS for YouTube videos built on LaMDA, and demonstrate its fluency and diverse functionality through some illustrative example conversations.