Herziening van Context, Verschuiving van Gesimuleerd Standpunt: Audit van LLM-Gebaseerde Standpuntsimulatie in Online Discussies

Samenvatting

Grote taalmodellen worden steeds vaker gebruikt om sociale mediagebruikers te simuleren en af te leiden hoe individuen kunnen reageren op online discussies. Het blijft echter onduidelijk of deze simulaties nauwkeurige gebruikersspecifieke overtuigingen weerspiegelen of dat ze zeer gevoelig zijn voor semantisch onafhankelijke veranderingen in gesprekscontexten. In dit werk bestuderen we tegenfeitelijke contextherziening als een raamwerk voor het auditen van op LLM gebaseerde standpuntsimulatie. Uitgaande van een oorspronkelijk online gesprek leiden we eerst het standpunt van een doelgebruiker ten opzichte van een specifiek onderwerp af. Vervolgens passen we gecontroleerde herzieningsstrategieën toe op de gesprekscontext en simuleren we het standpunt van de gebruiker opnieuw onder de herziene context. We vergelijken tekstgebaseerde herzieningsstrategieën met een multimodale strategie die op memes gebaseerde context omvat en evalueren twee belangrijke effectiviteitsmaatstaven, namelijk de gemiddelde directionele standpuntverschuiving en de standpuntovergangssnelheid. De resultaten tonen effectieve en robuuste standpuntovergangen aan in zowel tekstgebaseerde als multimodale strategieën, bij verschillende polarisatie-voorkeursmechanismen. Onze studie draagt bij aan een evaluatieraamwerk voor het begrijpen van de contextgevoeligheid van op LLM gebaseerde standpuntsimulatie. In bredere zin benadrukt het zowel de belofte als het risico van het gebruik van LLM's om online meningsdynamiek te simuleren.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.