Le piège de la personnalisation : comment la mémoire utilisateur altère le raisonnement émotionnel dans les LLM

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

October 10, 2025

papers.authors: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

cs.AI

papers.abstract

Lorsqu'une IA assistante se souvient que Sarah est une mère célibataire occupant deux emplois, interprète-t-elle son stress différemment que si elle était une cadre aisée ? Alors que les systèmes d'IA personnalisés intègrent de plus en plus la mémoire à long terme des utilisateurs, il est crucial de comprendre comment cette mémoire influence le raisonnement émotionnel. Nous étudions comment la mémoire des utilisateurs affecte l'intelligence émotionnelle des grands modèles de langage (LLM) en évaluant 15 modèles sur des tests d'intelligence émotionnelle validés par des humains. Nous constatons que des scénarios identiques associés à différents profils d'utilisateurs produisent des interprétations émotionnelles systématiquement divergentes. À travers des scénarios émotionnels indépendants des utilisateurs et des profils variés, des biais systématiques apparaissent dans plusieurs LLM performants, où les profils privilégiés reçoivent des interprétations émotionnelles plus précises. De plus, les LLM montrent des disparités significatives dans la compréhension des émotions et les tâches de recommandation de soutien selon les facteurs démographiques, indiquant que les mécanismes de personnalisation peuvent intégrer des hiérarchies sociales dans le raisonnement émotionnel des modèles. Ces résultats soulignent un défi majeur pour les IA dotées de mémoire : les systèmes conçus pour la personnalisation peuvent renforcer involontairement les inégalités sociales.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.