맥락 수정, 모의 입장 전환: 온라인 토론에서 LLM 기반 입장 시뮬레이션 감사

초록

대규모 언어 모델은 소셜 미디어 사용자를 시뮬레이션하고 개인이 온라인 토론에 어떻게 반응할지 추론하는 데 점점 더 많이 사용되고 있다. 그러나 이러한 시뮬레이션이 사용자별 정확한 신념을 반영하는지, 아니면 대화 맥락의 의미적으로 독립적인 변화에 매우 민감한지는 여전히 불분명하다. 본 연구에서는 반사실적 맥락 수정을 LLM 기반 입장 시뮬레이션 감사 프레임워크로 연구한다. 원본 온라인 대화가 주어지면, 먼저 특정 주제에 대한 대상 사용자의 입장을 추론한다. 그런 다음 대화 맥락에 통제된 수정 전략을 적용하고, 수정된 맥락에서 사용자의 입장을 다시 시뮬레이션한다. 텍스트 전용 수정 전략과 밈 기반 맥락을 포함하는 다중 모달 전략을 비교하고, 두 가지 주요 효과성 지표, 즉 평균 방향성 입장 변화와 입장 전환율을 평가한다. 결과는 다양한 양극화 선호 메커니즘에서 텍스트 전용 및 다중 모달 전략 모두에서 효과적이고 강건한 입장 전환을 보여준다. 본 연구는 LLM 기반 입장 시뮬레이션의 맥락 민감성을 이해하기 위한 평가 프레임워크를 제공한다. 더 넓게는, 온라인 의견 역학을 시뮬레이션하기 위해 LLM을 사용하는 것의 가능성과 위험을 모두 조명한다.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.