La trampa de la personalización: cómo la memoria del usuario altera el razonamiento emocional en los LLM

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

October 10, 2025

Autores: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

cs.AI

Resumen

Cuando un asistente de IA recuerda que Sarah es una madre soltera que trabaja en dos empleos, ¿interpreta su estrés de manera diferente que si fuera una ejecutiva adinerada? A medida que los sistemas de IA personalizados incorporan cada vez más la memoria a largo plazo del usuario, es crucial comprender cómo esta memoria moldea el razonamiento emocional. Investigamos cómo la memoria del usuario afecta la inteligencia emocional en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) evaluando 15 modelos en pruebas de inteligencia emocional validadas por humanos. Descubrimos que escenarios idénticos asociados con diferentes perfiles de usuario producen interpretaciones emocionales sistemáticamente divergentes. En escenarios emocionales independientes del usuario y validados, junto con perfiles de usuario diversos, surgieron sesgos sistemáticos en varios LLMs de alto rendimiento, donde los perfiles privilegiados recibieron interpretaciones emocionales más precisas. Además, los LLMs muestran disparidades significativas en factores demográficos en tareas de comprensión emocional y recomendaciones de apoyo, lo que indica que los mecanismos de personalización pueden incorporar jerarquías sociales en el razonamiento emocional de los modelos. Estos resultados resaltan un desafío clave para la IA potenciada por la memoria: los sistemas diseñados para la personalización pueden reforzar inadvertidamente las desigualdades sociales.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.