Cognición afectiva similar a la humana en modelos fundamentales

Human-like Affective Cognition in Foundation Models

September 18, 2024

Autores: Kanishk Gandhi, Zoe Lynch, Jan-Philipp Fränken, Kayla Patterson, Sharon Wambu, Tobias Gerstenberg, Desmond C. Ong, Noah D. Goodman

cs.AI

Resumen

Comprender las emociones es fundamental para la interacción y la experiencia humanas. Los humanos fácilmente infieren emociones a partir de situaciones o expresiones faciales, situaciones a partir de emociones, y realizan una variedad de otras cogniciones afectivas. ¿Qué tan hábil es la inteligencia artificial moderna en estas inferencias? Presentamos un marco de evaluación para probar la cognición afectiva en modelos fundamentales. Partiendo de la teoría psicológica, generamos 1,280 escenarios diversos que exploran las relaciones entre valoraciones, emociones, expresiones y resultados. Evaluamos las habilidades de los modelos fundamentales (GPT-4, Claude-3, Gemini-1.5-Pro) y humanos (N = 567) en condiciones cuidadosamente seleccionadas. Nuestros resultados muestran que los modelos fundamentales tienden a estar de acuerdo con las intuiciones humanas, igualando o superando el acuerdo entre participantes. En algunas condiciones, los modelos son "superhumanos" - prediciendo mejor los juicios humanos modales que el humano promedio. Todos los modelos se benefician del razonamiento en cadena de pensamiento. Esto sugiere que los modelos fundamentales han adquirido una comprensión de las emociones similar a la humana y su influencia en creencias y comportamiento.

English

Understanding emotions is fundamental to human interaction and experience. Humans easily infer emotions from situations or facial expressions, situations from emotions, and do a variety of other affective cognition. How adept is modern AI at these inferences? We introduce an evaluation framework for testing affective cognition in foundation models. Starting from psychological theory, we generate 1,280 diverse scenarios exploring relationships between appraisals, emotions, expressions, and outcomes. We evaluate the abilities of foundation models (GPT-4, Claude-3, Gemini-1.5-Pro) and humans (N = 567) across carefully selected conditions. Our results show foundation models tend to agree with human intuitions, matching or exceeding interparticipant agreement. In some conditions, models are ``superhuman'' -- they better predict modal human judgements than the average human. All models benefit from chain-of-thought reasoning. This suggests foundation models have acquired a human-like understanding of emotions and their influence on beliefs and behavior.