A Armadilha da Personalização: Como a Memória do Usuário Altera o Raciocínio Emocional em LLMs

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

October 10, 2025

Autores: Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

cs.AI

Resumo

Quando um assistente de IA lembra que Sarah é uma mãe solteira que trabalha em dois empregos, ele interpreta o estresse dela de forma diferente do que se ela fosse uma executiva rica? À medida que os sistemas de IA personalizados incorporam cada vez mais a memória de longo prazo do usuário, compreender como essa memória molda o raciocínio emocional é crucial. Investigamos como a memória do usuário afeta a inteligência emocional em modelos de linguagem de grande escala (LLMs) avaliando 15 modelos em testes de inteligência emocional validados por humanos. Descobrimos que cenários idênticos associados a diferentes perfis de usuário produzem interpretações emocionais sistematicamente divergentes. Em cenários emocionais independentes do usuário validados e diversos perfis de usuários, surgiram vieses sistemáticos em vários LLMs de alto desempenho, onde perfis privilegiados receberam interpretações emocionais mais precisas. Além disso, os LLMs demonstram disparidades significativas em fatores demográficos em tarefas de compreensão emocional e recomendações de suporte, indicando que os mecanismos de personalização podem incorporar hierarquias sociais no raciocínio emocional dos modelos. Esses resultados destacam um desafio fundamental para a IA aprimorada por memória: sistemas projetados para personalização podem inadvertidamente reforçar desigualdades sociais.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.