SocialVeil: Onderzoek naar de sociale intelligentie van taalagentschappen bij communicatiebarrières

SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

February 4, 2026

Auteurs: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

cs.AI

Samenvatting

Grote taalmodellen (LLM's) worden steeds vaker geëvalueerd in interactieve omgevingen om hun sociale intelligentie te testen. Bestaande benchmarks gaan echter vaak uit van geïdealiseerde communicatie tussen agents, wat ons vermogen beperkt om te diagnosticeren of LLM's interacties kunnen onderhouden en herstellen in meer realistische, onvolmaakte settings. Om deze kloof te dichten, presenteren wij SocialVeil, een sociale leeromgeving die sociale interactie kan simuleren onder communicatiebarrières veroorzaakt door cognitieve verschillen. Gebaseerd op een systematische literatuurstudie naar communicatie-uitdagingen in menselijke interactie, introduceert SocialVeil drie representatieve typen van dergelijke verstoring: semantische vaagheid, sociaal-culturele mismatch en emotionele interferentie. Wij introduceren ook twee barrière-gevoelige evaluatiemetrics, onopgeloste verwarring en wederzijds begrip, om de interactiekwaliteit onder verstoorde communicatie te evalueren. Experimenten over 720 scenario's en vier toonaangevende LLM's tonen aan dat barrières de prestaties consistent verslechteren, waarbij het wederzijds begrip met gemiddeld meer dan 45% afneemt en de verwarring met bijna 50% toeneemt. Humane evaluaties valideren de geloofwaardigheid van deze gesimuleerde barrières (ICC≈0.78, Pearson r≈0.80). Verder tonen wij aan dat aanpassingsstrategieën (Reparatie-instructie en Interactief leren) slechts een bescheiden effect hebben, ver verwijderd van prestaties zonder barrières. Dit werk zet een stap in de richting van het dichter bij real-world communicatie brengen van sociale interactie-omgevingen, en opent mogelijkheden voor het verkennen van de sociale intelligentie van LLM-agents.

English

Large language models (LLMs) are increasingly evaluated in interactive environments to test their social intelligence. However, existing benchmarks often assume idealized communication between agents, limiting our ability to diagnose whether LLMs can maintain and repair interactions in more realistic, imperfect settings. To close this gap, we present SocialVeil, a social learning environment that can simulate social interaction under cognitive-difference-induced communication barriers. Grounded in a systematic literature review of communication challenges in human interaction, SocialVeil introduces three representative types of such disruption, semantic vagueness, sociocultural mismatch, and emotional interference. We also introduce two barrier-aware evaluation metrics, unresolved confusion and mutual understanding, to evaluate interaction quality under impaired communication. Experiments across 720 scenarios and four frontier LLMs show that barriers consistently impair performance, with mutual understanding reduced by over 45\% on average, and confusion elevated by nearly 50\%. Human evaluations validate the fidelity of these simulated barriers (ICCapprox0.78, Pearson rapprox0.80). We further demonstrate that adaptation strategies (Repair Instruction and Interactive learning) only have a modest effect far from barrier-free performance. This work takes a step toward bringing social interaction environments closer to real-world communication, opening opportunities for exploring the social intelligence of LLM agents.