BenchPreS: Un Benchmark para la Selectividad de Preferencias Personalizadas con Conciencia Contextual en LLMs de Memoria Persistente

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

March 17, 2026

Autores: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

cs.AI

Resumen

Los grandes modelos de lenguaje (LLM) almacenan cada vez más las preferencias de los usuarios en memoria persistente para respaldar la personalización entre interacciones. Sin embargo, en entornos de comunicación con terceros regidos por normas sociales e institucionales, puede ser inapropiado aplicar algunas preferencias del usuario. Presentamos BenchPreS, que evalúa si las preferencias del usuario basadas en memoria se aplican o suprimen adecuadamente en distintos contextos de comunicación. Utilizando dos métricas complementarias, la Tasa de Mala Aplicación (MR) y la Tasa de Aplicación Apropiada (AAR), encontramos que incluso los LLM más avanzados tienen dificultades para aplicar preferencias de manera sensible al contexto. Los modelos con mayor adherencia a las preferencias muestran tasas más altas de aplicación excesiva, y ni la capacidad de razonamiento ni las defensas basadas en *prompts* resuelven completamente este problema. Estos resultados sugieren que los LLM actuales tratan las preferencias personalizadas como reglas aplicables globalmente, en lugar de como señales normativas dependientes del contexto.

English

Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.