Персонализация больших языковых моделей: обзор

Personalization of Large Language Models: A Survey

October 29, 2024

Авторы: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

Аннотация

Персонализация больших языковых моделей (LLM) в последнее время стала все более важной с широким спектром применений. Несмотря на важность и недавние успехи, большинство существующих работ по персонализированным LLM сосредоточены либо исключительно на (a) генерации персонализированного текста, либо (b) использовании LLM для персонализации связанных с ней прикладных приложений, таких как системы рекомендаций. В данной работе мы впервые соединяем эти два отдельных основных направления, представляя таксономию использования персонализированных LLM и обобщая ключевые различия и вызовы. Мы формализуем основы персонализированных LLM, консолидируя и расширяя понятия персонализации LLM, определяя и обсуждая новые аспекты персонализации, использования и желаемые характеристики персонализированных LLM. Затем мы объединяем литературу в этих различных областях и сценариях использования, предлагая систематические таксономии для уровня детализации персонализации, техник персонализации, наборов данных, методов оценки и приложений персонализированных LLM. Наконец, мы выделяем вызовы и важные открытые проблемы, которые требуют решения. Объединяя и изучая недавние исследования с использованием предложенных таксономий, мы стремимся предоставить четкое руководство по существующей литературе и различным аспектам персонализации в LLM, давая возможность как исследователям, так и практикующим специалистам.

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.