BenchPreS : un benchmark pour la sélectivité des préférences personnalisées en contexte des LLM à mémoire persistante
BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
March 17, 2026
Auteurs: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No
cs.AI
Résumé
Les grands modèles de langage (LLM) stockent de plus en plus les préférences des utilisateurs dans une mémoire persistante pour favoriser la personnalisation entre les interactions. Cependant, dans des contextes de communication tiers régis par des normes sociales et institutionnelles, certaines préférences utilisateur peuvent s'avérer inappropriées à appliquer. Nous présentons BenchPreS, un banc d'évaluation qui mesure si les préférences utilisateur issues de la mémoire sont correctement appliquées ou supprimées selon les contextes de communication. En utilisant deux métriques complémentaires, le Taux de Mauvaise Application (MR) et le Taux d'Application Appropriée (AAR), nous constatons que même les LLM les plus performants peinent à appliquer les préférences de manière sensible au contexte. Les modèles qui adhèrent plus fortement aux préférences présentent des taux plus élevés de surapplication, et ni les capacités de raisonnement ni les défenses basées sur l'invite ne résolvent entièrement ce problème. Ces résultats suggèrent que les LLM actuels traitent les préférences personnalisées comme des règles universellement applicables plutôt que comme des signaux normatifs dépendants du contexte.
English
Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.