BenchPreS: 영구 메모리 LLM의 상황 인식 개인 맞춤형 선호도 선택성을 위한 벤치마크

초록

대규모 언어 모델(LLM)은 상호작용 전반에 걸친 개인화를 지원하기 위해 사용자 선호도를 지속적 메모리에 저장하는 경우가 늘고 있습니다. 그러나 사회적 및 제도적 규범이 적용되는 타자 간 의사소통 환경에서는 일부 사용자 선호도를 적용하는 것이 부적절할 수 있습니다. 본 연구는 BenchPreS를 소개하며, 이는 의사소통 맥락에 따라 메모리 기반 사용자 선호도가 적절하게 적용되거나 억제되는지를 평가합니다. 상호 보완적인 두 가지 지표인 오적용률(MR)과 적절적용률(AAR)을 사용한 결과, 최첨단 LLM조차 맥락에 민감하게 선호도를 적용하는 데 어려움을 겪는 것으로 나타났습니다. 선호도 준수 정도가 높은 모델일수록 과도적용 비율이 높았으며, 추론 능력이나 프롬프트 기반 방어 기법도 이 문제를 완전히 해결하지 못했습니다. 이러한 결과는 현재의 LLM이 개인화된 선호도를 맥락 의존적 규범 신호가 아닌 전역적으로 강제 가능한 규칙으로 취급하고 있음을 시사합니다.

English

Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.

BenchPreS: 영구 메모리 LLM의 상황 인식 개인 맞춤형 선호도 선택성을 위한 벤치마크

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

초록

Support