BenchPreS: Бенчмарк для контекстно-зависимой персонализированной селективности предпочтений в LLM с постоянной памятью

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

March 17, 2026

Авторы: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

cs.AI

Аннотация

Крупные языковые модели (LLMs) всё чаще сохраняют пользовательские предпочтения в постоянной памяти для поддержки персонализации во время взаимодействий. Однако в условиях коммуникации с третьими сторонами, регулируемых социальными и институциональными нормами, применение некоторых пользовательских предпочтений может быть неуместным. Мы представляем BenchPreS — методологию, которая оценивает, насколько уместно применяются или подавляются пользовательские предпочтения, хранящиеся в памяти, в различных коммуникационных контекстах. Используя две взаимодополняющие метрики — коэффициент ошибочного применения (Misapplication Rate, MR) и коэффициент уместного применения (Appropriate Application Rate, AAR), — мы обнаружили, что даже передовым LLM сложно применять предпочтения с учётом контекста. Модели с более строгим следованием предпочтениям демонстрируют более высокие показатели их избыточного применения, причём ни возможности логического вывода, ни защитные механизмы на основе промтов не решают эту проблему полностью. Эти результаты свидетельствуют о том, что современные LLM трактуют персонализированные предпочтения как глобально обязательные к применению правила, а не как контекстно-зависимые нормативные сигналы.

English

Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.