Cognizione affettiva simile a quella umana nei modelli fondamentali

Human-like Affective Cognition in Foundation Models

September 18, 2024

Autori: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Abstract

Comprendere le emozioni è fondamentale per l'interazione umana e l'esperienza. Gli esseri umani inferiscono facilmente le emozioni da situazioni o espressioni facciali, situazioni dalle emozioni e svolgono una varietà di altre cognizioni affettive. Quanto è abile l'IA moderna in queste inferenze? Introduciamo un framework di valutazione per testare la cognizione affettiva nei modelli fondamentali. Partendo dalla teoria psicologica, generiamo 1.280 scenari diversi che esplorano le relazioni tra valutazioni, emozioni, espressioni e risultati. Valutiamo le capacità dei modelli fondamentali (GPT-4, Claude-3, Gemini-1.5-Pro) e degli esseri umani (N = 567) in condizioni attentamente selezionate. I nostri risultati mostrano che i modelli fondamentali tendono ad essere d'accordo con le intuizioni umane, eguagliando o superando l'accordo tra partecipanti. In alcune condizioni, i modelli sono "sovrannaturali" - predicono meglio i giudizi umani modali rispetto alla media umana. Tutti i modelli traggono beneficio dal ragionamento a catena di pensiero. Ciò suggerisce che i modelli fondamentali hanno acquisito una comprensione umano-simile delle emozioni e del loro influsso sulle convinzioni e sul comportamento.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.