Mensachtige affectieve cognitie in basismodellen

Human-like Affective Cognition in Foundation Models

September 18, 2024

Auteurs: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Samenvatting

Het begrijpen van emoties is fundamenteel voor menselijke interactie en ervaring. Mensen kunnen emoties gemakkelijk afleiden uit situaties of gezichtsuitdrukkingen, situaties uit emoties, en voeren verschillende andere affectieve cognitieve taken uit. Hoe bekwaam is de moderne AI in deze inferenties? We introduceren een evaluatiekader voor het testen van affectieve cognitie in foundation modellen. Vertrekkend vanuit psychologische theorie genereren we 1.280 diverse scenario's die relaties tussen beoordelingen, emoties, uitdrukkingen en uitkomsten verkennen. We evalueren de vaardigheden van foundation modellen (GPT-4, Claude-3, Gemini-1.5-Pro) en mensen (N = 567) over zorgvuldig geselecteerde omstandigheden. Onze resultaten tonen aan dat foundation modellen over het algemeen overeenstemmen met menselijke intuïties, waarbij ze de interdeelnemerovereenkomst evenaren of overtreffen. In sommige omstandigheden zijn de modellen "superieur" - ze voorspellen de modale menselijke oordelen beter dan de gemiddelde mens. Alle modellen profiteren van redeneren in een keten van gedachten. Dit suggereert dat foundation modellen een menselijk begrip van emoties en hun invloed op overtuigingen en gedrag hebben verworven.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.