BenchPreS: Een benchmark voor contextbewuste gepersonaliseerde voorkeursselectiviteit van persistent-geheugen-LLM's

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

March 17, 2026

Auteurs: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

cs.AI

Samenvatting

Grootschalige taalmodellen (LLM's) slaan gebruikersvoorkeuren steeds vaker op in een permanent geheugen om personalisatie tussen interacties door te ondersteunen. In communicatieomgevingen met derden, die worden beheerst door sociale en institutionele normen, kan het echter ongepast zijn om sommige gebruikersvoorkeuren toe te passen. Wij introduceren BenchPreS, een benchmark die evalueert of op geheugen gebaseerde gebruikersvoorkeuren op gepaste wijze worden toegepast of onderdrukt in verschillende communicatiecontexten. Met behulp van twee complementaire metrieken, de Misapplicatiefrequentie (MF) en de Gepaste-Toepassingsfrequentie (GTF), constateren wij dat zelfs toonaangevende LLM's moeite hebben om voorkeuren contextgevoelig toe te passen. Modellen met een sterkere neiging om voorkeuren te volgen, vertonen hogere percentages van overmatige toepassing, en noch redeneervermogen noch op prompts gebaseerde tegenmaatregelen lossen dit probleem volledig op. Deze resultaten suggereren dat huidige LLM's gepersonaliseerde voorkeuren behandelen als globaal afdwingbare regels in plaats van als contextafhankelijke normatieve signalen.

English

Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.