大規模言語モデルのパーソナライゼーション：調査

Personalization of Large Language Models: A Survey

October 29, 2024

著者: Zhehao Zhang, Ryan A. Rossi, Branislav Kveton, Yijia Shao, Diyi Yang, Hamed Zamani, Franck Dernoncourt, Joe Barrow, Tong Yu, Sungchul Kim, Ruiyi Zhang, Jiuxiang Gu, Tyler Derr, Hongjie Chen, Junda Wu, Xiang Chen, Zichao Wang, Subrata Mitra, Nedim Lipka, Nesreen Ahmed, Yu Wang

cs.AI

要旨

最近、大規模言語モデル（LLMs）の個別化は、幅広い応用においてますます重要となっています。重要性と最近の進歩にもかかわらず、個別化されたLLMsに関する既存の研究のほとんどは、(a) 個別化されたテキスト生成、または(b) 推薦システムなどの個別化関連の下流アプリケーションにLLMsを活用することに完全に焦点を当ててきました。本研究では、これら2つの異なる主要方向の間のギャップを初めて埋めることで、個別化されたLLMの使用に関する分類法を導入し、主要な違いと課題を要約します。私たちは、個別化されたLLMsの基盤の形式化を提供し、LLMsの個別化の概念を統合し拡大し、個別化、使用、および個別化されたLLMsの望ましい要素の定義と議論を行います。次に、個別化の粒度、個別化技術、データセット、評価方法、および個別化されたLLMsの応用に対する体系的な分類法を提案することで、これら多様な分野と使用シナリオの文献を統一します。最後に、取り組む必要がある課題と重要な未解決の問題を強調します。提案された分類法を使用して最近の研究を統一し調査することで、既存の文献とLLMsにおける個別化の異なる側面について明確なガイドを提供し、研究者と実務家の両方に力を与えることを目指しています。

English

Personalization of Large Language Models (LLMs) has recently become increasingly important with a wide range of applications. Despite the importance and recent progress, most existing works on personalized LLMs have focused either entirely on (a) personalized text generation or (b) leveraging LLMs for personalization-related downstream applications, such as recommendation systems. In this work, we bridge the gap between these two separate main directions for the first time by introducing a taxonomy for personalized LLM usage and summarizing the key differences and challenges. We provide a formalization of the foundations of personalized LLMs that consolidates and expands notions of personalization of LLMs, defining and discussing novel facets of personalization, usage, and desiderata of personalized LLMs. We then unify the literature across these diverse fields and usage scenarios by proposing systematic taxonomies for the granularity of personalization, personalization techniques, datasets, evaluation methods, and applications of personalized LLMs. Finally, we highlight challenges and important open problems that remain to be addressed. By unifying and surveying recent research using the proposed taxonomies, we aim to provide a clear guide to the existing literature and different facets of personalization in LLMs, empowering both researchers and practitioners.