LLMs + Persona-Plug = LLMs Personalizados

LLMs + Persona-Plug = Personalized LLMs

September 18, 2024

Autores: Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

cs.AI

Resumo

A personalização desempenha um papel crítico em inúmeras tarefas e aplicações linguísticas, uma vez que usuários com os mesmos requisitos podem preferir saídas diversas com base em seus interesses individuais. Isso levou ao desenvolvimento de várias abordagens personalizadas destinadas a adaptar grandes modelos de linguagem (LLMs) para gerar saídas personalizadas alinhadas com as preferências do usuário. Algumas delas envolvem o ajuste fino de um LLM personalizado único para cada usuário, o que é muito caro para uma aplicação generalizada. Abordagens alternativas introduzem informações de personalização de forma plug-and-play, recuperando os textos históricos relevantes do usuário como demonstrações. No entanto, essa estratégia baseada em recuperação pode quebrar a continuidade do histórico do usuário e falhar em capturar os estilos e padrões gerais do usuário, levando a um desempenho subótimo. Para enfrentar esses desafios, propomos um novo modelo de LLM personalizado. Ele constrói um embedding específico do usuário para cada indivíduo modelando todos os seus contextos históricos por meio de um módulo de incorporação de usuário leve e plugável. Ao anexar esse embedding à entrada da tarefa, os LLMs podem entender e capturar melhor os hábitos e preferências do usuário, produzindo assim saídas mais personalizadas sem ajustar seus próprios parâmetros. Experimentos extensivos em várias tarefas no benchmark de personalização de modelos de linguagem (LaMP) demonstram que o modelo proposto supera significativamente as abordagens existentes de LLM personalizado.

English

Personalization plays a critical role in numerous language tasks and applications, since users with the same requirements may prefer diverse outputs based on their individual interests. This has led to the development of various personalized approaches aimed at adapting large language models (LLMs) to generate customized outputs aligned with user preferences. Some of them involve fine-tuning a unique personalized LLM for each user, which is too expensive for widespread application. Alternative approaches introduce personalization information in a plug-and-play manner by retrieving the user's relevant historical texts as demonstrations. However, this retrieval-based strategy may break the continuity of the user history and fail to capture the user's overall styles and patterns, hence leading to sub-optimal performance. To address these challenges, we propose a novel personalized LLM model, . It constructs a user-specific embedding for each individual by modeling all her historical contexts through a lightweight plug-in user embedder module. By attaching this embedding to the task input, LLMs can better understand and capture user habits and preferences, thereby producing more personalized outputs without tuning their own parameters. Extensive experiments on various tasks in the language model personalization (LaMP) benchmark demonstrate that the proposed model significantly outperforms existing personalized LLM approaches.