LLMs + Persona-Plug = LLMs Personnalisés

LLMs + Persona-Plug = Personalized LLMs

September 18, 2024

Auteurs: Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

cs.AI

Résumé

La personnalisation joue un rôle crucial dans de nombreuses tâches et applications linguistiques, car des utilisateurs ayant les mêmes besoins peuvent préférer des sorties diverses en fonction de leurs intérêts individuels. Cela a conduit au développement de diverses approches personnalisées visant à adapter de grands modèles linguistiques (LLM) pour générer des sorties personnalisées alignées sur les préférences des utilisateurs. Certaines d'entre elles impliquent le réglage fin d'un LLM personnalisé unique pour chaque utilisateur, ce qui est trop coûteux pour une application généralisée. D'autres approches introduisent des informations de personnalisation de manière plug-and-play en récupérant les textes historiques pertinents de l'utilisateur en tant que démonstrations. Cependant, cette stratégie basée sur la récupération peut rompre la continuité de l'historique de l'utilisateur et ne pas saisir les styles et les motifs globaux de l'utilisateur, entraînant ainsi des performances sous-optimales. Pour relever ces défis, nous proposons un nouveau modèle LLM personnalisé. Il construit un plongement spécifique à chaque utilisateur en modélisant tous ses contextes historiques à travers un module d'incorporation utilisateur plug-in léger. En attachant cet plongement à l'entrée de la tâche, les LLM peuvent mieux comprendre et capturer les habitudes et préférences de l'utilisateur, produisant ainsi des sorties plus personnalisées sans régler leurs propres paramètres. Des expériences approfondies sur diverses tâches dans le benchmark de personnalisation du modèle linguistique (LaMP) démontrent que le modèle proposé surpasse significativement les approches existantes de LLM personnalisés.

English

Personalization plays a critical role in numerous language tasks and applications, since users with the same requirements may prefer diverse outputs based on their individual interests. This has led to the development of various personalized approaches aimed at adapting large language models (LLMs) to generate customized outputs aligned with user preferences. Some of them involve fine-tuning a unique personalized LLM for each user, which is too expensive for widespread application. Alternative approaches introduce personalization information in a plug-and-play manner by retrieving the user's relevant historical texts as demonstrations. However, this retrieval-based strategy may break the continuity of the user history and fail to capture the user's overall styles and patterns, hence leading to sub-optimal performance. To address these challenges, we propose a novel personalized LLM model, . It constructs a user-specific embedding for each individual by modeling all her historical contexts through a lightweight plug-in user embedder module. By attaching this embedding to the task input, LLMs can better understand and capture user habits and preferences, thereby producing more personalized outputs without tuning their own parameters. Extensive experiments on various tasks in the language model personalization (LaMP) benchmark demonstrate that the proposed model significantly outperforms existing personalized LLM approaches.