Человекоподобное аффективное мышление в фундаментальных моделях

Human-like Affective Cognition in Foundation Models

September 18, 2024

Авторы: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Аннотация

Понимание эмоций является фундаментальным для взаимодействия и опыта человека. Люди легко делают выводы о эмоциях из ситуаций или выражений лица, ситуации из эмоций, а также выполняют различные другие аффективные когнитивные процессы. Насколько искусственный интеллект сегодня умел в этих выводах? Мы представляем рамочную оценку для тестирования аффективного когнитива в базовых моделях. Начиная с психологической теории, мы создаем 1,280 разнообразных сценариев, исследующих взаимосвязи между оценками, эмоциями, выражениями и результатами. Мы оцениваем способности базовых моделей (GPT-4, Claude-3, Gemini-1.5-Pro) и людей (N = 567) в тщательно выбранных условиях. Наши результаты показывают, что базовые модели обычно согласуются с человеческими интуициями, соответствуя или превосходя межличностное согласие. В некоторых условиях модели являются «сверхчеловеческими» - они лучше предсказывают модальные человеческие суждения, чем средний человек. Все модели получают выгоду от цепочки рассуждений. Это говорит о том, что базовые модели приобрели понимание эмоций, подобное человеческому, и их влияния на убеждения и поведение.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.