Kontextrevision, Verschiebung des simulierten Standpunkts: Audit der LLM-basierten Standpunktsimulation in Online-Diskussionen

Zusammenfassung

Große Sprachmodelle werden zunehmend eingesetzt, um Social-Media-Nutzer zu simulieren und abzuleiten, wie Einzelpersonen auf Online-Diskussionen reagieren könnten. Es bleibt jedoch unklar, ob diese Simulationen präzise nutzerspezifische Überzeugungen widerspiegeln oder ob sie sehr empfindlich auf semantisch unabhängige Veränderungen in Gesprächskontexten reagieren. In dieser Arbeit untersuchen wir die kontrafaktische Kontextrevision als Rahmenwerk für die Überprüfung von auf LLM basierender Standpunktsimulation. Ausgehend von einer ursprünglichen Online-Konversation leiten wir zunächst die Haltung eines Zielnutzers gegenüber einem bestimmten Thema ab. Anschließend wenden wir kontrollierte Revisionsstrategien auf den Gesprächskontext an und simulieren die Haltung des Nutzers erneut unter dem revidierten Kontext. Wir vergleichen rein textbasierte Revisionsstrategien mit einer multimodalen, die meme-basierten Kontext einbezieht, und bewerten zwei Hauptwirkungsmetriken, nämlich die durchschnittliche gerichtete Standpunktverschiebung und die Standpunktübergangsrate. Die Ergebnisse zeigen effektive und robuste Standpunktübergänge sowohl bei rein textbasierten als auch bei multimodalen Strategien über verschiedene Polarisierungs-Präferenz-Mechanismen hinweg. Unsere Studie trägt einen Bewertungsrahmen zum Verständnis der Kontextsensitivität von auf LLM basierender Standpunktsimulation bei. Im weiteren Sinne zeigt sie sowohl die Verheißung als auch das Risiko des Einsatzes von LLMs zur Simulation von Online-Meinungsdynamiken auf.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.