Пересмотр контекста, изменение смоделированной позиции: аудит имитации позиции на основе LLM в онлайн-дискуссиях

Аннотация

Большие языковые модели всё чаще используются для симуляции поведения пользователей социальных сетей и прогнозирования того, как отдельные индивиды могут реагировать на онлайн-обсуждения. Однако остаётся неясным, отражают ли такие симуляции точные, специфичные для пользователя убеждения или же они крайне чувствительны к семантически независимым изменениям в контексте диалога. В данной работе мы исследуем контрфактическое изменение контекста как основу для аудита симуляции позиций на основе больших языковых моделей. Исходя из исходной онлайн-беседы, мы сначала выводим позицию целевого пользователя по отношению к конкретной теме. Затем мы применяем контролируемые стратегии изменения к контексту диалога и повторно симулируем позицию пользователя в изменённом контексте. Мы сравниваем чисто текстовые стратегии изменения с мультимодальной стратегией, включающей контекст на основе мемов, и оцениваем два основных показателя эффективности: среднее направленное смещение позиции и частоту переходов позиции. Результаты демонстрируют эффективные и устойчивые переходы позиции как при текстовых, так и при мультимодальных стратегиях для различных механизмов поляризации предпочтений. Наше исследование предлагает основу для оценки чувствительности к контексту симуляции позиций на основе больших языковых моделей. В более широком смысле оно подчёркивает как перспективы, так и риски использования больших языковых моделей для моделирования динамики общественного мнения в сети.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.