Обнаружение манипулятивных политических нарративов на основе больших языковых моделей (LLM)

Аннотация

Мы представляем новую вычислительную платформу для обнаружения и структурирования манипулятивных политических нарративов. Эта задача стала более актуальной в связи с перемещением политических дискуссий в социальные сети. Одной из основных проблем при этом является разграничение манипулятивных политических нарративов и легитимной критики. Некоторые посты могут также переосмысливать реальные события в манипулятивном контексте. Для достижения хороших результатов кластеризации мы предварительно фильтруем манипулятивные посты с помощью детализированного промпта с несколькими примерами (few-shot prompt), который объединяет задокументированные кампанейские нарративы с легитимной критикой для их различения. Этот промпт позволяет модели рассуждений присваивать метки, оставляя для дальнейшей обработки только посты с манипулятивными нарративами. Оставшиеся посты затем преобразуются в эмбеддинги и подвергаются снижению размерности с помощью UMAP, после чего применяется HDBSCAN для выявления нарративных групп. Ключевым преимуществом такого неконтролируемого подхода является его независимость от заранее заданного списка целевых категорий, что позволяет обнаруживать новые нарративные кластеры. Наконец, с помощью модели рассуждений раскрывается нарратив, лежащий в основе каждого кластера. Данный подход, применённый к более чем 1,2 миллионам постов в социальных сетях, позволил эффективно выявить 41 отчётливый манипулятивный нарративный кластер за счёт интеграции фильтрации на основе промптов и неконтролируемой кластеризации.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.