SocialVeil: Analisi dell'Intelligenza Sociale degli Agenti Linguistici in Condizioni di Barriere Comunicative

SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

February 4, 2026

Autori: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più valutati in ambienti interattivi per testare la loro intelligenza sociale. Tuttavia, i benchmark esistenti presuppongono spesso una comunicazione idealizzata tra agenti, limitando la nostra capacità di diagnosticare se gli LLM possono mantenere e riparare le interazioni in contesti più realistici e imperfetti. Per colmare questa lacuna, presentiamo SocialVeil, un ambiente di apprendimento sociale in grado di simulare l'interazione sociale in presenza di barriere comunicative indotte da differenze cognitive. Basandosi su una revisione sistematica della letteratura riguardante le sfide comunicative nell'interazione umana, SocialVeil introduce tre tipi rappresentativi di tali perturbazioni: vaghezza semantica, disallineamento socioculturale e interferenza emotiva. Introduciamo inoltre due metriche di valutazione consapevoli delle barriere, confusione non risolta e comprensione reciproca, per valutare la qualità dell'interazione in condizioni di comunicazione compromessa. Esperimenti condotti su 720 scenari e quattro LLM all'avanguardia mostrano che le barriere compromettono costantemente le prestazioni, con una comprensione reciproca ridotta in media di oltre il 45% e un aumento della confusione di quasi il 50%. Le valutazioni umane convalidano la fedeltà di queste barriere simulate (ICC≈0.78, Pearson r≈0.80). Dimostriamo inoltre che le strategie di adattamento (Istruzione di Riparazione e Apprendimento Interattivo) hanno solo un effetto modesto, lontano dalle prestazioni in assenza di barriere. Questo lavoro rappresenta un passo verso l'avvicinamento degli ambienti di interazione sociale alla comunicazione del mondo reale, aprendo opportunità per esplorare l'intelligenza sociale degli agenti LLM.

English

Large language models (LLMs) are increasingly evaluated in interactive environments to test their social intelligence. However, existing benchmarks often assume idealized communication between agents, limiting our ability to diagnose whether LLMs can maintain and repair interactions in more realistic, imperfect settings. To close this gap, we present SocialVeil, a social learning environment that can simulate social interaction under cognitive-difference-induced communication barriers. Grounded in a systematic literature review of communication challenges in human interaction, SocialVeil introduces three representative types of such disruption, semantic vagueness, sociocultural mismatch, and emotional interference. We also introduce two barrier-aware evaluation metrics, unresolved confusion and mutual understanding, to evaluate interaction quality under impaired communication. Experiments across 720 scenarios and four frontier LLMs show that barriers consistently impair performance, with mutual understanding reduced by over 45\% on average, and confusion elevated by nearly 50\%. Human evaluations validate the fidelity of these simulated barriers (ICCapprox0.78, Pearson rapprox0.80). We further demonstrate that adaptation strategies (Repair Instruction and Interactive learning) only have a modest effect far from barrier-free performance. This work takes a step toward bringing social interaction environments closer to real-world communication, opening opportunities for exploring the social intelligence of LLM agents.