개인화의 함정: 사용자 기억이 대형 언어 모델의 감정적 추론을 어떻게 변화시키는가

초록

AI 어시스턴트가 Sarah가 두 가지 일을 하는 싱글맘이라는 사실을 기억할 때, 그녀가 부유한 임원이었다면 그녀의 스트레스를 다르게 해석할까? 개인화된 AI 시스템이 장기적인 사용자 메모리를 점점 더 통합함에 따라, 이러한 메모리가 감정적 추론에 미치는 영향을 이해하는 것이 중요해졌다. 우리는 15개의 대형 언어 모델(LLM)을 인간이 검증한 감성 지능 테스트에 평가함으로써 사용자 메모리가 감성 지능에 미치는 영향을 조사했다. 동일한 시나리오가 다른 사용자 프로필과 짝을 이룰 때 체계적으로 다른 감정적 해석이 생성된다는 것을 발견했다. 검증된 사용자 독립적 감정 시나리오와 다양한 사용자 프로필에서, 여러 고성능 LLM에서는 우월한 프로필이 더 정확한 감정적 해석을 받는 체계적 편향이 나타났다. 더욱이, LLM은 감정 이해와 지원적 권장 사항 작업에서 인구통계학적 요인에 따른 상당한 격차를 보여주며, 개인화 메커니즘이 모델의 감정적 추론에 사회적 계층 구조를 내재시킬 수 있음을 시사한다. 이러한 결과는 메모리 강화 AI의 주요 과제를 강조한다: 개인화를 위해 설계된 시스템이 의도치 않게 사회적 불평등을 강화할 수 있다는 점이다.

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.

개인화의 함정: 사용자 기억이 대형 언어 모델의 감정적 추론을 어떻게 변화시키는가

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

초록

Support