SocialVeil : Sonder l'intelligence sociale des agents linguistiques face aux barrières de communication

SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

February 4, 2026

papers.authors: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) sont de plus en plus évalués dans des environnements interactifs pour tester leur intelligence sociale. Cependant, les benchmarks existants supposent souvent une communication idéalisée entre agents, limitant notre capacité à déterminer si les LLM peuvent maintenir et réparer les interactions dans des cadres plus réalistes et imparfaits. Pour combler cette lacune, nous présentons SocialVeil, un environnement d'apprentissage social capable de simuler l'interaction sociale sous l'effet de barrières de communication induites par des différences cognitives. Fondé sur une revue systématique de la littérature concernant les défis communicationnels dans l'interaction humaine, SocialVeil introduit trois types représentatifs de perturbations : la vague sémantique, le décalage socioculturel et l'interférence émotionnelle. Nous introduisons également deux métriques d'évaluation sensibles aux barrières, la confusion non résolue et la compréhension mutuelle, pour évaluer la qualité de l'interaction dans un contexte de communication altérée. Des expériences menées sur 720 scénarios et avec quatre LLM de pointe montrent que les barrières dégradent systématiquement les performances, avec une réduction de la compréhension mutuelle de plus de 45 % en moyenne et une augmentation de la confusion de près de 50 %. Les évaluations humaines valident la fidélité de ces barrières simulées (CCI≈0,78, Pearson r≈0,80). Nous démontrons en outre que les stratégies d'adaptation (Instruction de Réparation et Apprentissage Interactif) n'ont qu'un effet modeste, très éloigné des performances observées en l'absence de barrières. Ce travail représente un pas vers le rapprochement des environnements d'interaction sociale avec la communication réelle, ouvrant des perspectives pour l'exploration de l'intelligence sociale des agents LLM.

English

Large language models (LLMs) are increasingly evaluated in interactive environments to test their social intelligence. However, existing benchmarks often assume idealized communication between agents, limiting our ability to diagnose whether LLMs can maintain and repair interactions in more realistic, imperfect settings. To close this gap, we present SocialVeil, a social learning environment that can simulate social interaction under cognitive-difference-induced communication barriers. Grounded in a systematic literature review of communication challenges in human interaction, SocialVeil introduces three representative types of such disruption, semantic vagueness, sociocultural mismatch, and emotional interference. We also introduce two barrier-aware evaluation metrics, unresolved confusion and mutual understanding, to evaluate interaction quality under impaired communication. Experiments across 720 scenarios and four frontier LLMs show that barriers consistently impair performance, with mutual understanding reduced by over 45\% on average, and confusion elevated by nearly 50\%. Human evaluations validate the fidelity of these simulated barriers (ICCapprox0.78, Pearson rapprox0.80). We further demonstrate that adaptation strategies (Repair Instruction and Interactive learning) only have a modest effect far from barrier-free performance. This work takes a step toward bringing social interaction environments closer to real-world communication, opening opportunities for exploring the social intelligence of LLM agents.