SocialVeil: Исследование социального интеллекта языковых агентов в условиях коммуникационных барьеров

SocialVeil: Probing Social Intelligence of Language Agents under Communication Barriers

February 4, 2026

Авторы: Keyang Xuan, Pengda Wang, Chongrui Ye, Haofei Yu, Tal August, Jiaxuan You

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще оцениваются в интерактивных средах для проверки их социального интеллекта. Однако существующие бенчмарки часто предполагают идеализированную коммуникацию между агентами, что ограничивает нашу способность диагностировать, могут ли LLM поддерживать и восстанавливать взаимодействие в более реалистичных, неидеальных условиях. Чтобы устранить этот пробел, мы представляем SocialVeil — социальную обучающую среду, способную моделировать социальное взаимодействие в условиях коммуникационных барьеров, вызванных когнитивными различиями. Основываясь на систематическом обзоре литературы, посвящённой проблемам коммуникации в человеческом взаимодействии, SocialVeil вводит три репрезентативных типа подобных нарушений: семантическую нечёткость, социокультурное несоответствие и эмоциональную интерференцию. Мы также представляем две метрики оценки, учитывающие барьеры, — неразрешённая неясность и взаимопонимание, — для оценки качества взаимодействия в условиях нарушенной коммуникации. Эксперименты в 720 сценариях с участием четырёх передовых LLM показывают, что барьеры последовательно ухудшают производительность: взаимопонимание снижается в среднем более чем на 45%, а уровень неясности возрастает почти на 50%. Человеческие оценки подтверждают достоверность этих смоделированных барьеров (ICC≈0.78, коэффициент корреляции Пирсона r≈0.80). Мы также демонстрируем, что стратегии адаптации (инструкция по восстановлению и интерактивное обучение) оказывают лишь умеренный эффект, оставаясь далекими от производительности в условиях отсутствия барьеров. Данная работа делает шаг к приближению сред социального взаимодействия к реальной коммуникации, открывая возможности для исследования социального интеллекта LLM-агентов.

English

Large language models (LLMs) are increasingly evaluated in interactive environments to test their social intelligence. However, existing benchmarks often assume idealized communication between agents, limiting our ability to diagnose whether LLMs can maintain and repair interactions in more realistic, imperfect settings. To close this gap, we present SocialVeil, a social learning environment that can simulate social interaction under cognitive-difference-induced communication barriers. Grounded in a systematic literature review of communication challenges in human interaction, SocialVeil introduces three representative types of such disruption, semantic vagueness, sociocultural mismatch, and emotional interference. We also introduce two barrier-aware evaluation metrics, unresolved confusion and mutual understanding, to evaluate interaction quality under impaired communication. Experiments across 720 scenarios and four frontier LLMs show that barriers consistently impair performance, with mutual understanding reduced by over 45\% on average, and confusion elevated by nearly 50\%. Human evaluations validate the fidelity of these simulated barriers (ICCapprox0.78, Pearson rapprox0.80). We further demonstrate that adaptation strategies (Repair Instruction and Interactive learning) only have a modest effect far from barrier-free performance. This work takes a step toward bringing social interaction environments closer to real-world communication, opening opportunities for exploring the social intelligence of LLM agents.