Agente Senziente come Giudice: Valutazione della Cognizione Sociale di Ordine Superiore nei Modelli Linguistici di Grande Dimensione

Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models

May 1, 2025

Autori: Bang Zhang, Ruotian Ma, Qingxuan Jiang, Peisong Wang, Jiaqi Chen, Zheng Xie, Xingyu Chen, Yue Wang, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li

cs.AI

Abstract

Valutare quanto bene un modello linguistico di grandi dimensioni (LLM) comprenda l'essere umano, piuttosto che semplicemente il testo, rimane una sfida aperta. Per colmare questa lacuna, introduciamo Sentient Agent as a Judge (SAGE), un framework di valutazione automatizzato che misura la cognizione sociale di ordine superiore di un LLM. SAGE istanzia un Agente Sentiente che simula cambiamenti emotivi e pensieri interiori simili a quelli umani durante l'interazione, fornendo una valutazione più realistica del modello testato in conversazioni a più turni. Ad ogni turno, l'agente ragiona su (i) come cambiano le sue emozioni, (ii) come si sente e (iii) come dovrebbe rispondere, producendo una traiettoria emotiva numerica e pensieri interiori interpretabili. Esperimenti su 100 scenari di dialogo di supporto mostrano che il punteggio emotivo finale dell'Agente Sentiente è fortemente correlato con le valutazioni del Barrett-Lennard Relationship Inventory (BLRI) e con le metriche di empatia a livello di enunciato, validando la fedeltà psicologica. Costruiamo inoltre una classifica pubblica Sentient Leaderboard che copre 18 modelli commerciali e open-source, rivelando divari sostanziali (fino a 4 volte) tra i sistemi all'avanguardia (GPT-4o-Latest, Gemini2.5-Pro) e i precedenti baseline, divari non riflessi nelle classifiche convenzionali (ad esempio, Arena). SAGE fornisce quindi uno strumento principiato, scalabile e interpretabile per monitorare i progressi verso agenti linguistici veramente empatici e socialmente abili.

English

Assessing how well a large language model (LLM) understands human, rather than merely text, remains an open challenge. To bridge the gap, we introduce Sentient Agent as a Judge (SAGE), an automated evaluation framework that measures an LLM's higher-order social cognition. SAGE instantiates a Sentient Agent that simulates human-like emotional changes and inner thoughts during interaction, providing a more realistic evaluation of the tested model in multi-turn conversations. At every turn, the agent reasons about (i) how its emotion changes, (ii) how it feels, and (iii) how it should reply, yielding a numerical emotion trajectory and interpretable inner thoughts. Experiments on 100 supportive-dialogue scenarios show that the final Sentient emotion score correlates strongly with Barrett-Lennard Relationship Inventory (BLRI) ratings and utterance-level empathy metrics, validating psychological fidelity. We also build a public Sentient Leaderboard covering 18 commercial and open-source models that uncovers substantial gaps (up to 4x) between frontier systems (GPT-4o-Latest, Gemini2.5-Pro) and earlier baselines, gaps not reflected in conventional leaderboards (e.g., Arena). SAGE thus provides a principled, scalable and interpretable tool for tracking progress toward genuinely empathetic and socially adept language agents.