Detección basada en LLM de narrativas políticas manipuladoras

Resumen

Presentamos un nuevo marco computacional para detectar y estructurar narrativas políticas manipuladoras, una tarea que ha cobrado mayor importancia debido al traslado de las discusiones políticas a las redes sociales. Uno de los principales desafíos consiste en diferenciar entre narrativas políticas manipuladoras y críticas legítimas, ya que algunas publicaciones pueden reformular eventos reales dentro de un contexto manipulador. Para lograr buenos resultados de agrupamiento, filtramos previamente las publicaciones manipuladoras mediante un prompt detallado de pocos ejemplos que combina narrativas documentadas de campañas con críticas legítimas para diferenciarlas. Este prompt permite que un modelo de razonamiento asigne etiquetas, conservando únicamente las publicaciones con narrativas manipuladoras para su posterior procesamiento. Las publicaciones restantes se incrustan posteriormente y se reduce su dimensionalidad mediante UMAP, antes de aplicar HDBSCAN para descubrir grupos narrativos. Una ventaja clave de este enfoque no supervisado es su independencia de una lista predefinida de categorías objetivo, lo que permite descubrir nuevos conglomerados narrativos. Finalmente, se emplea un modelo de razonamiento para descubrir la narrativa detrás de cada conglomerado. Este enfoque, aplicado a más de 1,2 millones de publicaciones en redes sociales, identificó eficazmente 41 conglomerados narrativos manipuladores distintos al integrar el filtrado basado en prompts con el agrupamiento no supervisado.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.