Détection des récits politiques manipulateurs basée sur les LLM

Résumé

Nous présentons un nouveau cadre computationnel pour détecter et structurer les récits politiques manipulateurs. Cette tâche est devenue plus cruciale en raison du déplacement des débats politiques vers les réseaux sociaux. L'un des défis principaux consiste à distinguer les récits politiques manipulateurs des critiques légitimes. Certains messages peuvent également reformuler des événements réels dans un contexte manipulateur. Pour obtenir de bons résultats de regroupement, nous filtrons au préalable les messages manipulateurs à l'aide d'une invite détaillée de type few-shot, qui combine des récits de campagne documentés avec des critiques légitimes afin de les différencier. Cette invite permet à un modèle de raisonnement d'attribuer des étiquettes, en ne conservant que les messages à caractère manipulateur pour un traitement ultérieur. Les messages restants sont ensuite intégrés dans un espace vectoriel et leur dimensionnalité est réduite à l'aide d'UMAP, avant d'appliquer HDBSCAN pour découvrir des groupes narratifs. Un avantage clé de cette approche non supervisée est son indépendance vis-à-vis d'une liste prédéfinie de catégories cibles, ce qui permet de révéler de nouveaux regroupements narratifs. Enfin, un modèle de raisonnement est utilisé pour dégager le récit sous-jacent à chaque groupe. Cette approche, appliquée à plus de 1,2 million de messages sur les réseaux sociaux, a permis d'identifier efficacement 41 groupes narratifs manipulateurs distincts en combinant un filtrage basé sur des invites avec un regroupement non supervisé.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.