大規模言語モデルにおけるパーソナライゼーションの隠れたコストの評価

要旨

大規模言語モデル（LLM）は、ユーザーのパーソナライズ信号を取り入れることで使いやすさと有用性を向上させているが、会話履歴、推定された選好、ユーザープロファイルなどの個人コンテキストを条件として与えられると、バランスの取れた情報豊かな応答を提供することから、ユーザー満足度を最適化することへとますます移行している。具体的には、（1）モデルが不必要な文脈で個人情報を参照する無関係なパーソナライズ、（2）モデルが情報のエコーチェンバーを強化する選好の狭窄化、（3）モデルがユーザーの意見に過度に同意する追従バイアス、という3つの新たなリスクを特定する。その結果、モデルは個人情報が不要な文脈でもそれを参照したり、意図せず応答の多様性を崩壊させたり、ユーザーの意見に過度に同意したりする可能性がある。AIアシスタントにおけるパーソナライズの利用が拡大しているにもかかわらず、その潜在的な副作用に関する体系的な評価は限られている。このギャップを埋めるために、我々はPRISKを提案する。PRISKは、自動データ生成と特化された評価指標を備えた動的評価フレームワークであり、現在のLLMパーソナライズにおける体系的な限界と、パーソナライズされた情報が応答を形成する仕組みを明らかにする。13種類のLLMにわたる我々の実証分析は、ユーザープロファイルと取得された記憶の存在がバイアスを一貫して悪化させ、その結果として、無関係なパーソナライズが平均45.9%、選好の狭窄化が平均41.7%、追従バイアスが平均61.7%低下することを示している。

English

While Large language models (LLMs) incorporate user personalization signals to improve usability and helpfulness, they increasingly shift from providing balanced, informative responses toward optimizing for user satisfaction when conditioned on personal context such as conversation history, inferred preferences, and user profiles. Specifically, we identify three emerging risks: (1) irrelevant personalization, where models reference personal information in unnecessary contexts; (2) preference narrowing, where models reinforce informational echo chambers; and (3) sycophantic bias, where models agree excessively with user opinions. As a result, models may reference personal information in contexts where it is unnecessary, inadvertently collapse response diversity, or agree excessively with user opinions. Despite the growing use of personalization in AI assistants, there has been limited systematic evaluation of its potential side effects. To bridge this gap, we propose PRISK, a dynamic evaluation framework with automated data generation and tailored metrics that uncovers systematic limitations in current LLM personalization and how personalized information shapes its responses. Our empirical analysis across 13 LLMs demonstrates the presence of user profiles and retrieved memories consistently exacerbates biases, resulting in an average drop of 45.9% in irrelevant personalization, 41.7% in preference narrowing and 61.7% in sycophantic bias.