Cognição Afetiva semelhante à Humana em Modelos Fundamentais

Human-like Affective Cognition in Foundation Models

September 18, 2024

Autores: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Resumo

Compreender emoções é fundamental para a interação e experiência humanas. Os humanos facilmente inferem emoções a partir de situações ou expressões faciais, e vice-versa, realizando uma variedade de outras cognições afetivas. Quão hábil é a inteligência artificial moderna nessas inferências? Apresentamos um framework de avaliação para testar a cognição afetiva em modelos fundamentais. Partindo da teoria psicológica, geramos 1.280 cenários diversos explorando as relações entre avaliações, emoções, expressões e resultados. Avaliamos as habilidades dos modelos fundamentais (GPT-4, Claude-3, Gemini-1.5-Pro) e humanos (N = 567) em condições cuidadosamente selecionadas. Nossos resultados mostram que os modelos fundamentais tendem a concordar com as intuições humanas, igualando ou superando o acordo entre os participantes. Em algumas condições, os modelos são "super-humanos" - eles preveem melhor os julgamentos humanos modais do que o humano médio. Todos os modelos se beneficiam do raciocínio em cadeia de pensamento. Isso sugere que os modelos fundamentais adquiriram uma compreensão semelhante à humana das emoções e sua influência nas crenças e comportamento.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.