LLMs + Persona-Plug = LLMs Personalizados

LLMs + Persona-Plug = Personalized LLMs

September 18, 2024

Autores: Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

cs.AI

Resumen

La personalización juega un papel crítico en numerosas tareas y aplicaciones lingüísticas, ya que usuarios con los mismos requisitos pueden preferir salidas diversas basadas en sus intereses individuales. Esto ha llevado al desarrollo de varios enfoques personalizados destinados a adaptar modelos de lenguaje grandes (LLMs) para generar salidas personalizadas alineadas con las preferencias del usuario. Algunos de ellos implican ajustar finamente un LLM personalizado único para cada usuario, lo cual es demasiado costoso para una aplicación generalizada. Enfoques alternativos introducen información de personalización de forma plug-and-play mediante la recuperación de los textos históricos relevantes del usuario como demostraciones. Sin embargo, esta estrategia basada en recuperación puede romper la continuidad de la historia del usuario y no lograr capturar los estilos y patrones generales del usuario, lo que lleva a un rendimiento subóptimo. Para abordar estos desafíos, proponemos un nuevo modelo de LLM personalizado. Construye un embedding específico del usuario para cada individuo modelando todos sus contextos históricos a través de un módulo de incrustación de usuario plug-in ligero. Al adjuntar este embedding a la entrada de la tarea, los LLMs pueden comprender y capturar mejor los hábitos y preferencias del usuario, produciendo así salidas más personalizadas sin ajustar sus propios parámetros. Experimentos extensos en varias tareas en el banco de pruebas de personalización de modelos de lenguaje (LaMP) demuestran que el modelo propuesto supera significativamente a los enfoques existentes de LLM personalizados.

English

Personalization plays a critical role in numerous language tasks and applications, since users with the same requirements may prefer diverse outputs based on their individual interests. This has led to the development of various personalized approaches aimed at adapting large language models (LLMs) to generate customized outputs aligned with user preferences. Some of them involve fine-tuning a unique personalized LLM for each user, which is too expensive for widespread application. Alternative approaches introduce personalization information in a plug-and-play manner by retrieving the user's relevant historical texts as demonstrations. However, this retrieval-based strategy may break the continuity of the user history and fail to capture the user's overall styles and patterns, hence leading to sub-optimal performance. To address these challenges, we propose a novel personalized LLM model, . It constructs a user-specific embedding for each individual by modeling all her historical contexts through a lightweight plug-in user embedder module. By attaching this embedding to the task input, LLMs can better understand and capture user habits and preferences, thereby producing more personalized outputs without tuning their own parameters. Extensive experiments on various tasks in the language model personalization (LaMP) benchmark demonstrate that the proposed model significantly outperforms existing personalized LLM approaches.