BenchPreS: Ein Benchmark für kontextbewusste personalisierte Präferenzselektivität von Persistent-Memory-LLMs
BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
March 17, 2026
Autoren: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) speichern zunehmend Nutzerpräferenzen in persistenter Erinnerung, um Personalisierung über Interaktionen hinweg zu unterstützen. In Kommunikationskontexten mit Dritten, die durch soziale und institutionelle Normen geregelt sind, kann die Anwendung einiger Nutzerpräferenzen jedoch unangemessen sein. Wir stellen BenchPreS vor, das bewertet, ob erinnerungsbasierte Nutzerpräferenzen in verschiedenen Kommunikationskontexten angemessen angewendet oder unterdrückt werden. Unter Verwendung zweier komplementärer Metriken, der Fehlanwendungsrate (Misapplication Rate, MR) und der Angemessenen-Anwendungsrate (Appropriate Application Rate, AAR), stellen wir fest, dass selbst führende LLMs Schwierigkeiten haben, Präferenzen kontextsensitiv anzuwenden. Modelle mit stärkerer Präferenzbefolgung weisen höhere Raten von Überanwendung auf, und weder Reasoning-Fähigkeiten noch prompt-basierte Abwehrmechanismen lösen dieses Problem vollständig. Diese Ergebnisse deuten darauf hin, dass aktuelle LLMs personalisierte Präferenzen eher als global durchsetzbare Regeln behandeln denn als kontextabhängige normative Signale.
English
Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.