LLM-basierte Erkennung manipulativer politischer Narrative

Zusammenfassung

Wir stellen ein neues computergestütztes Framework zur Erkennung und Strukturierung manipulativer politischer Narrative vor – eine Aufgabe, die durch die Verlagerung politischer Diskussionen in soziale Medien an Bedeutung gewonnen hat. Eine der zentralen Herausforderungen besteht dabei in der Unterscheidung zwischen manipulativen politischen Narrativen und legitimer Kritik. Manche Beiträge können zudem tatsächliche Ereignisse in einen manipulativen Kontext umrahmen. Um gute Clusterergebnisse zu erzielen, filtern wir manipulative Beiträge vorab mithilfe eines detaillierten Few-Shot-Prompts, der dokumentierte Kampagnennarrative mit legitimer Kritik kombiniert, um diese zu unterscheiden. Dieser Prompt befähigt ein Reasoning-Modell zur Zuweisung von Labels, sodass nur Beiträge mit manipulativen Narrativen für die weitere Verarbeitung erhalten bleiben. Die verbleibenden Beiträge werden anschließend eingebettet und mittels UMAP dimensionsreduziert, bevor HDBSCAN angewendet wird, um narrative Gruppen aufzudecken. Ein wesentlicher Vorteil dieses unüberwachten Ansatzes ist seine Unabhängigkeit von einer vordefinierten Liste von Zielkategorien, was die Entdeckung neuer narrativer Cluster ermöglicht. Schließlich wird ein Reasoning-Modell eingesetzt, um das Narrativ hinter jedem Cluster zu entschlüsseln. Dieser Ansatz, angewandt auf über 1,2 Millionen Social-Media-Beiträge, identifizierte effektiv 41 unterschiedliche manipulative Narrativecluster, indem er promptbasierte Filterung mit unüberwachtem Clustering kombinierte.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.