LLMに基づく操作的政治ナラティブの検出

要旨

本稿では、操作的な政治ナラティブを検出・構造化するための新たな計算フレームワークを提案する。この課題は、政治的な議論がソーシャルメディアへ移行したことで重要性を増している。その主要な困難の一つは、操作的な政治ナラティブと正当な批判とを区別することにある。また、実際の出来事を操作的な文脈に再構成する投稿も存在する。良好なクラスタリング結果を得るために、我々は事前に詳細な少数ショットプロンプトを用いて操作的な投稿をフィルタリングする。このプロンプトは、文書化されたキャンペーンナラティブと正当な批判とを組み合わせ、両者を識別する。このプロンプトにより推論モデルがラベルを割り当て、操作的なナラティブ投稿のみをその後の処理に残す。残った投稿はその後埋め込み化され、UMAPを用いて次元削減された後、HDBSCANが適用されてナラティブグループが明らかにされる。この教師なしアプローチの重要な利点は、事前定義されたターゲットカテゴリリストに依存せず、新たなナラティブクラスタを発見できる点である。最後に、推論モデルを用いて各クラスタの背後にあるナラティブを解明する。このアプローチを120万以上のソーシャルメディア投稿に適用した結果、プロンプトベースのフィルタリングと教師なしクラスタリングを統合することで、41個の明確な操作的なナラティブクラスタを効果的に特定した。

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.