Menschliche affektive Kognition in Grundlagenmodellen

Human-like Affective Cognition in Foundation Models

September 18, 2024

Autoren: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Zusammenfassung

Das Verständnis von Emotionen ist grundlegend für die menschliche Interaktion und Erfahrung. Menschen können Emotionen leicht aus Situationen oder Gesichtsausdrücken ableiten, Situationen aus Emotionen erschließen und eine Vielzahl anderer affektiver Kognitionen durchführen. Inwieweit ist die moderne KI bei diesen Inferenzen versiert? Wir stellen ein Bewertungsrahmen für die Prüfung affektiver Kognitionen in Grundlagenmodellen vor. Ausgehend von psychologischer Theorie generieren wir 1.280 verschiedene Szenarien, die Beziehungen zwischen Bewertungen, Emotionen, Ausdrücken und Ergebnissen untersuchen. Wir bewerten die Fähigkeiten der Grundlagenmodelle (GPT-4, Claude-3, Gemini-1.5-Pro) und von Menschen (N = 567) unter sorgfältig ausgewählten Bedingungen. Unsere Ergebnisse zeigen, dass Grundlagenmodelle dazu neigen, mit menschlichen Intuitionen übereinzustimmen, indem sie die zwischenmenschliche Übereinstimmung erreichen oder übertreffen. Unter bestimmten Bedingungen sind die Modelle "übermenschlich" - sie sagen menschliche Urteile genauer voraus als der durchschnittliche Mensch. Alle Modelle profitieren von einem kettenartigen Denkprozess. Dies legt nahe, dass Grundlagenmodelle ein menschenähnliches Verständnis von Emotionen und deren Einfluss auf Überzeugungen und Verhalten erlangt haben.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.