BenchPreS：永続メモリLLMの文脈対応型個人嗜好選択性のためのベンチマーク

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

March 17, 2026

著者: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

cs.AI

要旨

大規模言語モデル（LLM）は、相互作用を超えたパーソナライゼーションを支援するため、ユーザーの選好を永続的メモリに保存することが増えている。しかし、社会的・制度的規範によって支配される第三者間のコミュニケーション環境では、一部のユーザー選好を適用することは不適切な場合がある。本稿ではBenchPreSを提案し、コミュニケーション文脈に応じてメモリベースのユーザー選好が適切に適用または抑制されるかを評価する。相補的な2つの指標、誤適用率（MR）と適切適用率（AAR）を用いた分析により、最先端のLLMでさえ文脈を考慮した選好の適用に課題があることが明らかになった。選好遵守度が高いモデルほど過剰適用率が高く、推論能力やプロンプトベースの防御策もこの問題を完全には解決しない。これらの結果は、現在のLLMがパーソナライズされた選好を文脈依存的な規範的シグナルではなく、グローバルに強制可能なルールとして扱っていることを示唆する。

English

Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.