BenchPreS: Un Benchmark per la Selettività delle Preferenze Personalizzate con Consapevolezza Contestuale nei LLM con Memoria Persistente

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

March 17, 2026

Autori: Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) memorizzano sempre più le preferenze degli utenti in una memoria persistente per supportare la personalizzazione tra le interazioni. Tuttavia, in contesti di comunicazione con terze parti governati da norme sociali e istituzionali, alcune preferenze dell'utente potrebbero essere inappropriate da applicare. Introduciamo BenchPreS, che valuta se le preferenze dell'utente basate sulla memoria siano applicate opportunamente o soppresse nei diversi contesti comunicativi. Utilizzando due metriche complementari, il Tasso di Applicazione Inappropriata (MR) e il Tasso di Applicazione Appropriata (AAR), scopriamo che anche i LLM più all'avanguardia faticano ad applicare le preferenze in modo sensibile al contesto. I modelli con un'aderenza più forte alle preferenze mostrano tassi più elevati di applicazione eccessiva, e né le capacità di ragionamento né le difese basate su prompt risolvono completamente questo problema. Questi risultati suggeriscono che gli LLM attuali trattano le preferenze personalizzate come regole globalmente vincolanti piuttosto che come segnali normativi dipendenti dal contesto.

English

Large language models (LLMs) increasingly store user preferences in persistent memory to support personalization across interactions. However, in third-party communication settings governed by social and institutional norms, some user preferences may be inappropriate to apply. We introduce BenchPreS, which evaluates whether memory-based user preferences are appropriately applied or suppressed across communication contexts. Using two complementary metrics, Misapplication Rate (MR) and Appropriate Application Rate (AAR), we find even frontier LLMs struggle to apply preferences in a context-sensitive manner. Models with stronger preference adherence exhibit higher rates of over-application, and neither reasoning capability nor prompt-based defenses fully resolve this issue. These results suggest current LLMs treat personalized preferences as globally enforceable rules rather than as context-dependent normative signals.