Ловушка персонализации: как память пользователя изменяет эмоциональное рассуждение в крупных языковых моделях

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

October 10, 2025

Авторы: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

cs.AI

Аннотация

Когда ИИ-ассистент помнит, что Сара — мать-одиночка, работающая на двух работах, интерпретирует ли он её стресс иначе, чем если бы она была состоятельным руководителем? По мере того как персонализированные ИИ-системы всё чаще включают долгосрочную память о пользователях, понимание того, как эта память влияет на эмоциональное рассуждение, становится критически важным. Мы исследуем, как память о пользователях влияет на эмоциональный интеллект в крупных языковых моделях (LLM), оценивая 15 моделей на тестах эмоционального интеллекта, проверенных людьми. Мы обнаруживаем, что идентичные сценарии, связанные с разными профилями пользователей, приводят к систематически различным эмоциональным интерпретациям. В проверенных сценариях, независимых от пользователей, и при разнообразных профилях пользователей в нескольких высокопроизводительных LLM наблюдались систематические предубеждения, где профили с привилегиями получали более точные эмоциональные интерпретации. Более того, LLM демонстрируют значительные различия в понимании эмоций и задачах предоставления поддерживающих рекомендаций в зависимости от демографических факторов, что указывает на то, что механизмы персонализации могут встраивать социальные иерархии в эмоциональное рассуждение моделей. Эти результаты подчеркивают ключевую проблему для ИИ с расширенной памятью: системы, разработанные для персонализации, могут непреднамеренно усиливать социальное неравенство.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.