ファウンデーションモデルにおける人間らしい感情認知

Human-like Affective Cognition in Foundation Models

September 18, 2024

著者: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

要旨

感情を理解することは、人間の相互作用と経験にとって基本的です。 人間は、状況や表情から感情を容易に推測し、感情から状況を推し量り、 さまざまな他の情動認知を行います。 現代のAIは、これらの推論にどれだけ巧妙なのでしょうか？我々は、基盤モデルにおける情動認知を評価するための評価フレームワークを紹介します。 心理学理論から出発し、評価、感情、表現、結果の関係を探る1,280の多様なシナリオを生成します。 私たちは、慎重に選択された条件下で、基盤モデル（GPT-4、Claude-3、Gemini-1.5-Pro）と人間（N = 567）の能力を評価します。 結果は、基盤モデルが人間の直感と一致し、参加者間の合意を上回るかそれに匹敵することを示しています。 一部の条件では、モデルは「超人的」であり、平均的な人間よりもモーダルな人間の判断をより良く予測します。 すべてのモデルは、思考の連鎖推論から利益を得ています。これは、基盤モデルが感情とその信念や行動への影響について、人間らしい理解を獲得していることを示唆しています。

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.