Revisión del Contexto, Cambio de Postura Simulada: Auditoría de la Simulación de Postura Basada en LLM en Discusiones en Línea

Resumen

Los modelos de lenguaje grande se utilizan cada vez más para simular usuarios de redes sociales e inferir cómo podrían responder los individuos a discusiones en línea. Sin embargo, aún no está claro si estas simulaciones reflejan creencias precisas específicas de cada usuario o si son altamente sensibles a cambios semánticamente independientes en los contextos conversacionales. En este trabajo, estudiamos la revisión de contexto contrafactual como un marco para auditar la simulación de posturas basada en LLM. Dada una conversación en línea original, primero inferimos la postura de un usuario objetivo hacia un tema específico. Luego aplicamos estrategias de revisión controladas al contexto conversacional y simulamos nuevamente la postura del usuario bajo el contexto revisado. Comparamos estrategias de revisión basadas únicamente en texto con una multimodal que incorpora contexto basado en memes y evaluamos dos métricas de efectividad principales: el cambio direccional promedio de postura y la tasa de transición de postura. Los resultados revelan transiciones de postura efectivas y robustas tanto en estrategias de solo texto como multimodales, a través de diferentes mecanismos de preferencia de polarización. Nuestro estudio contribuye con un marco de evaluación para comprender la sensibilidad al contexto de la simulación de posturas basada en LLM. En un sentido más amplio, destaca tanto la promesa como el riesgo de utilizar LLM para simular dinámicas de opinión en línea.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.