LLM + Persona-Plug = LLM Personalizzati

LLMs + Persona-Plug = Personalized LLMs

September 18, 2024

Autori: Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

cs.AI

Abstract

La personalizzazione svolge un ruolo critico in numerose attività e applicazioni linguistiche, poiché utenti con gli stessi requisiti possono preferire output diversi in base ai loro interessi individuali. Ciò ha portato allo sviluppo di vari approcci personalizzati mirati ad adattare i grandi modelli linguistici (LLM) per generare output personalizzati allineati alle preferenze dell'utente. Alcuni di essi prevedono il raffinamento di un unico LLM personalizzato per ciascun utente, il che risulta troppo costoso per un'applicazione diffusa. Approcci alternativi introducono informazioni di personalizzazione in modo plug-and-play recuperando i testi storici rilevanti dell'utente come dimostrazioni. Tuttavia, questa strategia basata sul recupero potrebbe interrompere la continuità della storia dell'utente e non riuscire a catturare gli stili e i modelli complessivi dell'utente, portando quindi a prestazioni subottimali. Per affrontare queste sfide, proponiamo un nuovo modello LLM personalizzato. Esso costruisce un embedding specifico dell'utente per ciascun individuo modellando tutti i suoi contesti storici attraverso un modulo di embedding utente leggero e plug-in. Attaccando questo embedding all'input del compito, i LLM possono comprendere e catturare meglio le abitudini e le preferenze dell'utente, producendo così output più personalizzati senza regolare i propri parametri. Esperimenti approfonditi su vari compiti nel benchmark di personalizzazione del modello linguistico (LaMP) dimostrano che il modello proposto supera significativamente gli approcci LLM personalizzati esistenti.

English

Personalization plays a critical role in numerous language tasks and applications, since users with the same requirements may prefer diverse outputs based on their individual interests. This has led to the development of various personalized approaches aimed at adapting large language models (LLMs) to generate customized outputs aligned with user preferences. Some of them involve fine-tuning a unique personalized LLM for each user, which is too expensive for widespread application. Alternative approaches introduce personalization information in a plug-and-play manner by retrieving the user's relevant historical texts as demonstrations. However, this retrieval-based strategy may break the continuity of the user history and fail to capture the user's overall styles and patterns, hence leading to sub-optimal performance. To address these challenges, we propose a novel personalized LLM model, . It constructs a user-specific embedding for each individual by modeling all her historical contexts through a lightweight plug-in user embedder module. By attaching this embedding to the task input, LLMs can better understand and capture user habits and preferences, thereby producing more personalized outputs without tuning their own parameters. Extensive experiments on various tasks in the language model personalization (LaMP) benchmark demonstrate that the proposed model significantly outperforms existing personalized LLM approaches.