Op LLM gebaseerde detectie van manipulatieve politieke narratieven

Samenvatting

Wij presenteren een nieuw computationeel raamwerk voor het detecteren en structureren van manipulatieve politieke narratieven. Een taak die belangrijker is geworden door de verschuiving van politieke discussies naar sociale media. Een van de voornaamste uitdagingen daarbij is het onderscheiden van manipulatieve politieke narratieven van legitieme kritieken. Sommige berichten kunnen ook daadwerkelijke gebeurtenissen herkaderen binnen een manipulatieve context. Om goede clusterresultaten te bereiken, filteren we vooraf manipulatieve berichten met een gedetailleerde few-shot prompt die gedocumenteerde campagnenarratieven combineert met legitieme kritieken om ze te onderscheiden. Deze prompt stelt een redeneermodel in staat om labels toe te wijzen, waarbij alleen manipulatieve narratieve berichten worden behouden voor verdere verwerking. De overgebleven berichten worden vervolgens geëmbed en dimensioneel gereduceerd met UMAP, waarna HDBSCAN wordt toegepast om narratieve groepen te ontdekken. Een belangrijk voordeel van deze ongesuperviseerde aanpak is de onafhankelijkheid van een vooraf gedefinieerde lijst van doeldategorieën, waardoor het nieuwe narratieve clusters kan ontdekken. Ten slotte wordt een redeneermodel gebruikt om het narratief achter elke cluster te achterhalen. Deze aanpak, toegepast op meer dan 1,2 miljoen sociale mediaberichten, heeft effectief 41 verschillende manipulatieve narratieve clusters geïdentificeerd door prompt-gebaseerde filtering te integreren met ongesuperviseerde clustering.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.