La cognition affective de type humain dans les modèles fondamentaux

Human-like Affective Cognition in Foundation Models

September 18, 2024

Auteurs: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Résumé

La compréhension des émotions est fondamentale pour l'interaction et l'expérience humaines. Les humains infèrent facilement les émotions à partir de situations ou d'expressions faciales, les situations à partir des émotions, et effectuent diverses autres formes de cognition affective. Dans quelle mesure l'IA moderne excelle-t-elle dans ces inférences ? Nous introduisons un cadre d'évaluation pour tester la cognition affective dans les modèles fondamentaux. En partant de la théorie psychologique, nous générons 1 280 scénarios divers explorant les relations entre les évaluations, les émotions, les expressions et les résultats. Nous évaluons les capacités des modèles fondamentaux (GPT-4, Claude-3, Gemini-1.5-Pro) et des humains (N = 567) dans des conditions soigneusement sélectionnées. Nos résultats montrent que les modèles fondamentaux ont tendance à être en accord avec les intuitions humaines, égalant ou dépassant l'accord interparticulier. Dans certaines conditions, les modèles sont "surhumains" - ils prédisent mieux les jugements humains modaux que le humain moyen. Tous les modèles bénéficient d'un raisonnement en chaîne de pensée. Cela suggère que les modèles fondamentaux ont acquis une compréhension des émotions similaire à celle des humains et de leur influence sur les croyances et le comportement.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.