Agent Sentient en tant que Juge : Évaluation de la Cognition Sociale d'Ordre Supérieur dans les Modèles de Langage à Grande Échelle

Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models

May 1, 2025

Auteurs: Bang Zhang, Ruotian Ma, Qingxuan Jiang, Peisong Wang, Jiaqi Chen, Zheng Xie, Xingyu Chen, Yue Wang, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li

cs.AI

Résumé

Évaluer dans quelle mesure un grand modèle de langage (LLM) comprend l'humain, plutôt que simplement le texte, reste un défi ouvert. Pour combler cet écart, nous introduisons Sentient Agent as a Judge (SAGE), un cadre d'évaluation automatisé qui mesure la cognition sociale d'ordre supérieur d'un LLM. SAGE instancie un agent sentient qui simule des changements émotionnels et des pensées intérieures semblables à ceux d'un humain lors d'une interaction, offrant ainsi une évaluation plus réaliste du modèle testé dans des conversations à plusieurs tours. À chaque tour, l'agent raisonne sur (i) comment son émotion évolue, (ii) ce qu'il ressent, et (iii) comment il devrait répondre, produisant une trajectoire émotionnelle numérique et des pensées intérieures interprétables. Des expériences sur 100 scénarios de dialogues de soutien montrent que le score émotionnel Sentient final corrèle fortement avec les évaluations de l'Inventaire de Relation Barrett-Lennard (BLRI) et les métriques d'empathie au niveau des énoncés, validant ainsi la fidélité psychologique. Nous construisons également un classement public Sentient Leaderboard couvrant 18 modèles commerciaux et open-source, révélant des écarts substantiels (jusqu'à 4x) entre les systèmes de pointe (GPT-4o-Latest, Gemini2.5-Pro) et les modèles de référence antérieurs, écarts non reflétés dans les classements conventionnels (par exemple, Arena). SAGE fournit ainsi un outil princié, scalable et interprétable pour suivre les progrès vers des agents de langage véritablement empathiques et socialement compétents.

English

Assessing how well a large language model (LLM) understands human, rather than merely text, remains an open challenge. To bridge the gap, we introduce Sentient Agent as a Judge (SAGE), an automated evaluation framework that measures an LLM's higher-order social cognition. SAGE instantiates a Sentient Agent that simulates human-like emotional changes and inner thoughts during interaction, providing a more realistic evaluation of the tested model in multi-turn conversations. At every turn, the agent reasons about (i) how its emotion changes, (ii) how it feels, and (iii) how it should reply, yielding a numerical emotion trajectory and interpretable inner thoughts. Experiments on 100 supportive-dialogue scenarios show that the final Sentient emotion score correlates strongly with Barrett-Lennard Relationship Inventory (BLRI) ratings and utterance-level empathy metrics, validating psychological fidelity. We also build a public Sentient Leaderboard covering 18 commercial and open-source models that uncovers substantial gaps (up to 4x) between frontier systems (GPT-4o-Latest, Gemini2.5-Pro) and earlier baselines, gaps not reflected in conventional leaderboards (e.g., Arena). SAGE thus provides a principled, scalable and interpretable tool for tracking progress toward genuinely empathetic and socially adept language agents.