LLM 기반 조작적 정치 서사 탐지

초록

우리는 조작적 정치 서사를 탐지하고 구조화하는 새로운 계산 프레임워크를 제시한다. 이 과제는 정치적 논의가 소셜 미디어로 이동함에 따라 더욱 중요해졌다. 이때 주요 난관 중 하나는 조작적 정치 서사와 정당한 비판을 구별하는 것이다. 일부 게시물은 실제 사건을 조작적 맥락 안에서 재구성하기도 한다. 좋은 클러스터링 결과를 얻기 위해, 우리는 문서화된 캠페인 서사와 정당한 비판을 결합하여 이들을 구분하는 상세한 퓨삿 프롬프트(few-shot prompt)를 사용해 사전에 조작적 게시물을 필터링한다. 이 프롬프트는 추론 모델이 레이블을 할당하게 하여, 추가 처리를 위해 조작적 서사 게시물만 남긴다. 남은 게시물들은 이후 임베딩되고 UMAP을 사용해 차원 축소된 후, HDBSCAN이 적용되어 서사 그룹을 발견한다. 이 비지도 학습 접근법의 주요 장점은 사전 정의된 대상 범주 목록에 의존하지 않으므로 새로운 서사 클러스터를 발견할 수 있다는 점이다. 마지막으로, 추론 모델을 사용하여 각 클러스터 뒤에 숨은 서사를 밝혀낸다. 이 접근법은 120만 개 이상의 소셜 미디어 게시물에 적용되어, 프롬프트 기반 필터링과 비지도 클러스터링을 통합함으로써 41개의 뚜렷한 조작적 서사 클러스터를 효과적으로 식별했다.

English

We present a new computational framework for detecting and structuring manipulative political narratives. A task that became more important due to the shift of political discussions to social media. One of the primary challenges thereby is differentiating between manipulative political narratives and legitimate critiques. Some posts may also reframe actual events within a manipulative context. To achieve good clustering results, we filter manipulative posts beforehand using a detailed few-shot prompt that combines documented campaign narratives with legitimate criticisms to differentiate them. This prompt enables a reasoning model to assign labels, retaining only manipulative narrative posts for further processing. The remaining posts are subsequently embedded and dimensionality-reduced using UMAP, before HDBSCAN is applied to uncover narrative groups. A key advantage of this unsupervised approach is its independence from a predefined list of target categories, enabling it to uncover new narrative clusters. Finally, a reasoning model is employed to uncover the narrative behind each cluster. This approach, applied to over 1.2 million social media posts, effectively identified 41 distinct manipulative narrative clusters by integrating prompt-based filtering with unsupervised clustering.