SocialVeil: Investigando a Inteligência Social de Agentes de Linguagem sob Barreiras de Comunicação

SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

February 4, 2026

Autores: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

cs.AI

Resumo

Os modelos de linguagem de grande escala (LLMs) estão a ser cada vez mais avaliados em ambientes interativos para testar a sua inteligência social. No entanto, os *benchmarks* existentes partem frequentemente do pressuposto de uma comunicação idealizada entre agentes, limitando a nossa capacidade de diagnosticar se os LLMs conseguem manter e reparar interações em contextos mais realistas e imperfeitos. Para colmatar esta lacuna, apresentamos o SocialVeil, um ambiente de aprendizagem social que simula a interação social sob barreiras de comunicação induzidas por diferenças cognitivas. Fundamentado numa revisão sistemática da literatura sobre desafios de comunicação na interação humana, o SocialVeil introduz três tipos representativos de rutura: vagueza semântica, desalinhamento sociocultural e interferência emocional. Também introduzimos duas métricas de avaliação sensíveis a barreiras, *confusão não resolvida* e *compreensão mútua*, para avaliar a qualidade da interação sob comunicação comprometida. Experiências realizadas em 720 cenários com quatro LLMs de vanguarda mostram que as barreiras prejudicam consistentemente o desempenho, com a compreensão mútua reduzida em mais de 45% em média e a confusão aumentada em quase 50%. Avaliações humanas validam a fidelidade destas barreiras simuladas (CCI≈0,78, Pearson r≈0,80). Demonstramos ainda que as estratégias de adaptação (Instrução de Reparação e Aprendizagem Interativa) têm um efeito modesto, ficando muito aquém do desempenho obtido sem barreiras. Este trabalho dá um passo no sentido de aproximar os ambientes de interação social da comunicação do mundo real, abrindo oportunidades para explorar a inteligência social dos agentes baseados em LLMs.

English

Large language models (LLMs) are increasingly evaluated in interactive environments to test their social intelligence. However, existing benchmarks often assume idealized communication between agents, limiting our ability to diagnose whether LLMs can maintain and repair interactions in more realistic, imperfect settings. To close this gap, we present SocialVeil, a social learning environment that can simulate social interaction under cognitive-difference-induced communication barriers. Grounded in a systematic literature review of communication challenges in human interaction, SocialVeil introduces three representative types of such disruption, semantic vagueness, sociocultural mismatch, and emotional interference. We also introduce two barrier-aware evaluation metrics, unresolved confusion and mutual understanding, to evaluate interaction quality under impaired communication. Experiments across 720 scenarios and four frontier LLMs show that barriers consistently impair performance, with mutual understanding reduced by over 45\% on average, and confusion elevated by nearly 50\%. Human evaluations validate the fidelity of these simulated barriers (ICCapprox0.78, Pearson rapprox0.80). We further demonstrate that adaptation strategies (Repair Instruction and Interactive learning) only have a modest effect far from barrier-free performance. This work takes a step toward bringing social interaction environments closer to real-world communication, opening opportunities for exploring the social intelligence of LLM agents.