Personalização de Modelos de Linguagem Grandes: Uma Pesquisa

Personalization of Large Language Models: A Survey

October 29, 2024

Autores: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Resumo

A personalização de Modelos de Linguagem de Grande Escala (LLMs) tornou-se recentemente cada vez mais importante com uma ampla gama de aplicações. Apesar da importância e do progresso recente, a maioria dos trabalhos existentes sobre LLMs personalizados tem se concentrado exclusivamente em (a) geração de texto personalizado ou (b) alavancando LLMs para aplicações downstream relacionadas à personalização, como sistemas de recomendação. Neste trabalho, nós aproximamos as duas principais direções separadas pela primeira vez, introduzindo uma taxonomia para o uso de LLMs personalizados e resumindo as principais diferenças e desafios. Nós fornecemos uma formalização dos fundamentos dos LLMs personalizados que consolida e expande noções de personalização de LLMs, definindo e discutindo novos aspectos de personalização, uso e desiderata de LLMs personalizados. Em seguida, unificamos a literatura em meio a esses diversos campos e cenários de uso, propondo taxonomias sistemáticas para a granularidade da personalização, técnicas de personalização, conjuntos de dados, métodos de avaliação e aplicações de LLMs personalizados. Por fim, destacamos desafios e importantes problemas em aberto que ainda precisam ser abordados. Ao unificar e revisar pesquisas recentes usando as taxonomias propostas, nosso objetivo é fornecer um guia claro para a literatura existente e diferentes aspectos de personalização em LLMs, capacitando tanto pesquisadores quanto profissionais.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.