パーソナライゼーションの罠：ユーザーメモリがLLMの感情的推論を変容させるメカニズム

要旨

AIアシスタントが、サラが2つの仕事を掛け持ちするシングルマザーであることを記憶している場合、彼女が裕福なエグゼクティブであった場合とは異なるストレスの解釈をするだろうか？パーソナライズされたAIシステムが長期ユーザーメモリをますます取り入れる中、このメモリが感情推論をどのように形作るかを理解することが重要である。我々は、人間が検証した感情知能テストを用いて15のモデルを評価し、ユーザーメモリが大規模言語モデル（LLM）の感情知能にどのように影響するかを調査した。その結果、同一のシナリオでも異なるユーザープロファイルと組み合わせると、体系的に異なる感情解釈が生じることがわかった。検証済みのユーザー独立感情シナリオと多様なユーザープロファイルにおいて、いくつかの高性能LLMでは、有利なプロファイルに対してより正確な感情解釈が行われるという体系的バイアスが現れた。さらに、LLMは感情理解と支援的推奨タスクにおいて、人口統計学的要因に基づく著しい格差を示し、パーソナライゼーション機構がモデルの感情推論に社会的階層を埋め込む可能性があることを示唆している。これらの結果は、メモリ強化AIにおける重要な課題を浮き彫りにしている：パーソナライゼーションのために設計されたシステムが、意図せずに社会的不平等を強化する可能性があるということである。

English

When an AI assistant remembers that Sarah is a single mother working two jobs, does it interpret her stress differently than if she were a wealthy executive? As personalized AI systems increasingly incorporate long-term user memory, understanding how this memory shapes emotional reasoning is critical. We investigate how user memory affects emotional intelligence in large language models (LLMs) by evaluating 15 models on human validated emotional intelligence tests. We find that identical scenarios paired with different user profiles produce systematically divergent emotional interpretations. Across validated user independent emotional scenarios and diverse user profiles, systematic biases emerged in several high-performing LLMs where advantaged profiles received more accurate emotional interpretations. Moreover, LLMs demonstrate significant disparities across demographic factors in emotion understanding and supportive recommendations tasks, indicating that personalization mechanisms can embed social hierarchies into models emotional reasoning. These results highlight a key challenge for memory enhanced AI: systems designed for personalization may inadvertently reinforce social inequalities.

パーソナライゼーションの罠：ユーザーメモリがLLMの感情的推論を変容させるメカニズム

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

要旨

Support