Agente Sensible como Juez: Evaluación de la Cognición Social de Orden Superior en Modelos de Lenguaje a Gran Escala

Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models

May 1, 2025

Autores: Bang Zhang, Ruotian Ma, Qingxuan Jiang, Peisong Wang, Jiaqi Chen, Zheng Xie, Xingyu Chen, Yue Wang, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li

cs.AI

Resumen

Evaluar qué tan bien un modelo de lenguaje grande (LLM) comprende a los humanos, en lugar de simplemente texto, sigue siendo un desafío abierto. Para cerrar esta brecha, presentamos Sentient Agent as a Judge (SAGE), un marco de evaluación automatizado que mide la cognición social de orden superior de un LLM. SAGE instancia un Agente Sensible que simula cambios emocionales y pensamientos internos similares a los humanos durante la interacción, proporcionando una evaluación más realista del modelo probado en conversaciones de múltiples turnos. En cada turno, el agente razona sobre (i) cómo cambian sus emociones, (ii) cómo se siente y (iii) cómo debería responder, generando una trayectoria emocional numérica y pensamientos internos interpretables. Los experimentos en 100 escenarios de diálogo de apoyo muestran que la puntuación emocional final del Agente Sensible se correlaciona fuertemente con las calificaciones del Inventario de Relaciones Barrett-Lennard (BLRI) y las métricas de empatía a nivel de enunciado, validando la fidelidad psicológica. También construimos un Tablero de Clasificación Público de Agentes Sensibles que cubre 18 modelos comerciales y de código abierto, revelando brechas sustanciales (hasta 4 veces) entre los sistemas de vanguardia (GPT-4o-Latest, Gemini2.5-Pro) y las líneas base anteriores, brechas que no se reflejan en los tableros de clasificación convencionales (por ejemplo, Arena). SAGE proporciona así una herramienta fundamentada, escalable e interpretable para rastrear el progreso hacia agentes de lenguaje genuinamente empáticos y socialmente hábiles.

English

Assessing how well a large language model (LLM) understands human, rather than merely text, remains an open challenge. To bridge the gap, we introduce Sentient Agent as a Judge (SAGE), an automated evaluation framework that measures an LLM's higher-order social cognition. SAGE instantiates a Sentient Agent that simulates human-like emotional changes and inner thoughts during interaction, providing a more realistic evaluation of the tested model in multi-turn conversations. At every turn, the agent reasons about (i) how its emotion changes, (ii) how it feels, and (iii) how it should reply, yielding a numerical emotion trajectory and interpretable inner thoughts. Experiments on 100 supportive-dialogue scenarios show that the final Sentient emotion score correlates strongly with Barrett-Lennard Relationship Inventory (BLRI) ratings and utterance-level empathy metrics, validating psychological fidelity. We also build a public Sentient Leaderboard covering 18 commercial and open-source models that uncovers substantial gaps (up to 4x) between frontier systems (GPT-4o-Latest, Gemini2.5-Pro) and earlier baselines, gaps not reflected in conventional leaderboards (e.g., Arena). SAGE thus provides a principled, scalable and interpretable tool for tracking progress toward genuinely empathetic and socially adept language agents.