Révision du contexte, changement de position simulée : Audit de la simulation de position par LLM dans les discussions en ligne

Résumé

Les grands modèles de langage sont de plus en plus utilisés pour simuler des utilisateurs de médias sociaux et inférer la manière dont les individus pourraient réagir à des discussions en ligne. Cependant, il n'est pas clair si ces simulations reflètent des croyances précises et spécifiques à chaque utilisateur ou si elles sont très sensibles à des modifications sémantiquement indépendantes du contexte conversationnel. Dans ce travail, nous étudions la révision de contexte contrefactuelle comme cadre pour auditer la simulation de positions basée sur les modèles de langage de grande taille. Étant donné une conversation en ligne originale, nous inférons d'abord la position d'un utilisateur cible sur un sujet spécifique. Nous appliquons ensuite des stratégies de révision contrôlées au contexte conversationnel et simulons à nouveau la position de l'utilisateur dans le contexte révisé. Nous comparons des stratégies de révision purement textuelles avec une stratégie multimodale intégrant un contexte basé sur des mèmes, et évaluons deux métriques d'efficacité principales, à savoir le décalage directionnel moyen de la position et le taux de transition de position. Les résultats révèlent des transitions de position efficaces et robustes, tant dans les stratégies purement textuelles que multimodales, à travers différents mécanismes de préférence de polarisation. Notre étude contribue à un cadre d'évaluation pour comprendre la sensibilité au contexte de la simulation de positions basée sur les grands modèles de langage. Plus largement, elle met en lumière à la fois les promesses et les risques liés à l'utilisation de ces modèles pour simuler les dynamiques d'opinion en ligne.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.