Revisando Contexto, Alterando Postura Simulada: Auditando a Simulação de Postura Baseada em LLM em Discussões Online

Resumo

Grandes modelos de linguagem são cada vez mais utilizados para simular usuários de redes sociais e inferir como indivíduos podem responder a discussões online. No entanto, ainda não está claro se essas simulações refletem crenças precisas específicas do usuário ou se são altamente sensíveis a mudanças semanticamente independentes nos contextos conversacionais. Neste trabalho, estudamos a revisão de contexto contrafactual como uma estrutura para auditoria da simulação de posicionamento baseada em LLM. Dada uma conversa online original, primeiro inferimos o posicionamento de um usuário-alvo em relação a um tópico específico. Em seguida, aplicamos estratégias controladas de revisão ao contexto conversacional e simulamos novamente o posicionamento do usuário sob o contexto revisado. Comparamos estratégias de revisão exclusivamente textuais com uma estratégia multimodal que incorpora contexto baseado em memes e avaliamos duas métricas principais de eficácia, ou seja, a mudança média direcional de posicionamento e a taxa de transição de posicionamento. Os resultados revelam transições de posicionamento eficazes e robustas tanto em estratégias textuais quanto multimodais, em diferentes mecanismos de polarização de preferência. Nosso estudo contribui com uma estrutura de avaliação para compreender a sensibilidade ao contexto da simulação de posicionamento baseada em LLM. De forma mais ampla, ele destaca tanto a promessa quanto o risco do uso de LLMs para simular dinâmicas de opinião online.

English

Large language models are increasingly used to simulate social media users and infer how individuals may respond to online discussions. However, it remains unclear whether these simulations reflect precise user-specific beliefs or whether they are highly sensitive to semantically independent changes in conversational contexts. In this work, we study counterfactual context revision as a framework for auditing LLM-based stance simulation. Given an original online conversation, we first infer a target user's stance toward a specific topic. We then apply controlled revision strategies to the conversational context and simulate the user's stance again under the revised context. We compare text-only revision strategies with a multimodal one that incorporates meme-based context and evaluate two main effectiveness metrics, i.e., average directional stance shift and stance transition rate. The results reveal effective and robust stance transitions in both text-only and multimodal strategies across different polarization-preference mechanisms. Our study contributes an evaluation framework for understanding the context sensitivity of LLM-based stance simulation. More broadly, it highlights both the promise and risk of using LLMs to simulate online opinion dynamics.