Personalización de Modelos de Lenguaje Grandes: Un Estudio

Personalization of Large Language Models: A Survey

October 29, 2024

Autores: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Resumen

La personalización de los Modelos de Lenguaje de Gran Tamaño (LLMs) ha cobrado recientemente una importancia creciente con una amplia gama de aplicaciones. A pesar de la importancia y los avances recientes, la mayoría de los trabajos existentes sobre LLMs personalizados se han centrado ya sea completamente en (a) la generación de texto personalizado o (b) en aprovechar los LLMs para aplicaciones relacionadas con la personalización, como sistemas de recomendación. En este trabajo, cerramos la brecha entre estas dos direcciones principales separadas por primera vez al introducir una taxonomía para el uso de LLMs personalizados y resumir las diferencias clave y los desafíos. Proporcionamos una formalización de los fundamentos de los LLMs personalizados que consolida y amplía las nociones de personalización de los LLMs, definiendo y discutiendo facetas novedosas de personalización, uso y deseos de los LLMs personalizados. Luego unificamos la literatura en estos diversos campos y escenarios de uso proponiendo taxonomías sistemáticas para la granularidad de la personalización, técnicas de personalización, conjuntos de datos, métodos de evaluación y aplicaciones de LLMs personalizados. Finalmente, destacamos los desafíos y problemas abiertos importantes que aún deben abordarse. Al unificar y examinar la investigación reciente utilizando las taxonomías propuestas, nuestro objetivo es proporcionar una guía clara sobre la literatura existente y las diferentes facetas de la personalización en LLMs, capacitando tanto a investigadores como a profesionales.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.