BenchPreS: Um Benchmark para a Seletividade de Preferências Personalizadas com Consciência Contextual em LLMs de Memória Persistente
BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
March 17, 2026
Autores: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No
cs.AI
Resumo
Os grandes modelos de linguagem (LLMs) armazenam cada vez mais as preferências dos usuários em memória persistente para suportar a personalização entre interações. No entanto, em contextos de comunicação com terceiros regidos por normas sociais e institucionais, algumas preferências do usuário podem ser inadequadas de aplicar. Apresentamos o BenchPreS, que avalia se as preferências do usuário baseadas em memória são aplicadas ou suprimidas adequadamente em diferentes contextos de comunicação. Utilizando duas métricas complementares, a Taxa de Aplicação Inadequada (MR) e a Taxa de Aplicação Adequada (AAR), descobrimos que mesmo os LLMs de ponta têm dificuldade em aplicar preferências de forma sensível ao contexto. Modelos com maior aderência às preferências exibem taxas mais altas de superaplicação, e nem a capacidade de raciocínio nem as defesas baseadas em *prompts* resolvem completamente este problema. Estes resultados sugerem que os LLMs atuais tratam as preferências personalizadas como regras globalmente aplicáveis, em vez de sinais normativos dependentes do contexto.
English
Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.