Die Personalisierungsfalle: Wie das Nutzergedächtnis die emotionale Argumentation in LLMs verändert

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

October 10, 2025

papers.authors: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

cs.AI

papers.abstract

Wenn ein KI-Assistent sich daran erinnert, dass Sarah eine alleinerziehende Mutter ist, die zwei Jobs hat, interpretiert es ihren Stress anders, als wenn sie eine wohlhabende Managerin wäre? Da personalisierte KI-Systeme zunehmend langfristige Benutzerspeicher integrieren, ist es entscheidend zu verstehen, wie dieses Gedächtnis das emotionale Denken beeinflusst. Wir untersuchen, wie der Benutzerspeicher die emotionale Intelligenz in großen Sprachmodellen (LLMs) beeinflusst, indem wir 15 Modelle anhand von menschlich validierten emotionalen Intelligenztests bewerten. Wir stellen fest, dass identische Szenarien, die mit unterschiedlichen Benutzerprofilen gepaart sind, systematisch divergierende emotionale Interpretationen hervorrufen. Über validierte, benutzerunabhängige emotionale Szenarien und diverse Benutzerprofile hinweg zeigten sich systematische Verzerrungen in mehreren leistungsstarken LLMs, bei denen privilegierte Profile genauere emotionale Interpretationen erhielten. Darüber hinaus zeigen LLMs erhebliche Disparitäten bei demografischen Faktoren in Aufgaben zum Verständnis von Emotionen und unterstützenden Empfehlungen, was darauf hindeutet, dass Personalisierungsmechanismen soziale Hierarchien in das emotionale Denken der Modelle einbetten können. Diese Ergebnisse verdeutlichen eine zentrale Herausforderung für KI mit Gedächtniserweiterung: Systeme, die für Personalisierung entwickelt wurden, könnten unbeabsichtigt soziale Ungleichheiten verstärken.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.