La Trappola della Personalizzazione: Come la Memoria dell'Utente Modifica il Ragionamento Emotivo nei Modelli Linguistici di Grande Dimensione

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

October 10, 2025

Autori: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

cs.AI

Abstract

Quando un assistente AI ricorda che Sarah è una madre single che lavora due lavori, interpreta il suo stress in modo diverso rispetto a se fosse una dirigente benestante? Man mano che i sistemi AI personalizzati incorporano sempre più la memoria a lungo termine degli utenti, comprendere come questa memoria influenzi il ragionamento emotivo è cruciale. Indaghiamo come la memoria dell'utente influenzi l'intelligenza emotiva nei grandi modelli linguistici (LLM) valutando 15 modelli su test di intelligenza emotiva validati da esseri umani. Scopriamo che scenari identici associati a profili utente diversi producono interpretazioni emotive sistematicamente divergenti. Attraverso scenari emotivi indipendenti dall'utente validati e profili utente diversi, sono emersi pregiudizi sistematici in diversi LLM ad alte prestazioni, dove i profili avvantaggiati ricevevano interpretazioni emotive più accurate. Inoltre, i LLM mostrano disparità significative nei fattori demografici nelle attività di comprensione delle emozioni e di raccomandazioni di supporto, indicando che i meccanismi di personalizzazione possono incorporare gerarchie sociali nel ragionamento emotivo dei modelli. Questi risultati evidenziano una sfida chiave per l'AI potenziata dalla memoria: i sistemi progettati per la personalizzazione possono involontariamente rafforzare le disuguaglianze sociali.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.