Detecção Baseada em LLM de Narrativas Políticas Manipulativas

Resumo

Apresentamos um novo arcabouço computacional para detectar e estruturar narrativas políticas manipulativas. Uma tarefa que se tornou mais importante devido à migração dos debates políticos para as redes sociais. Um dos principais desafios, portanto, é diferenciar narrativas políticas manipulativas de críticas legítimas. Algumas postagens podem também recontextualizar eventos reais dentro de um contexto manipulativo. Para obter bons resultados de agrupamento, filtramos postagens manipulativas previamente, utilizando um prompt detalhado de poucos exemplos (*few-shot*), que combina narrativas documentadas de campanhas com críticas legítimas para diferenciá-las. Esse prompt permite que um modelo de raciocínio atribua rótulos, retendo apenas postagens com narrativa manipulativa para processamento posterior. As postagens restantes são subsequentemente incorporadas (*embedded*) e têm sua dimensionalidade reduzida por UMAP, antes da aplicação do HDBSCAN para descobrir grupos narrativos. Uma vantagem fundamental dessa abordagem não supervisionada é sua independência de uma lista predefinida de categorias-alvo, permitindo a descoberta de novos agrupamentos narrativos. Por fim, um modelo de raciocínio é empregado para revelar a narrativa subjacente a cada agrupamento. Essa abordagem, aplicada a mais de 1,2 milhão de postagens em redes sociais, identificou efetivamente 41 agrupamentos narrativos manipulativos distintos, integrando filtragem baseada em *prompts* com agrupamento não supervisionado.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.