A Data-Driven Perspective Community Notesはプロのファクトチェッカーに取って代われるか？データ駆動型の視点から

Can Community Notes Replace Professional Fact-Checkers?

February 19, 2025

著者: Nadav Borenstein, Greta Warren, Desmond Elliott, Isabelle Augenstein

cs.AI

要旨

ソーシャルメディア上の誤情報の拡大に対抗するためによく用いられる戦略は、(i)専門機関によるファクトチェックと(ii)プラットフォームユーザーによるコミュニティモデレーションの2つです。Twitter/Xや最近ではMetaの政策変更は、ファクトチェック機関との連携から、クラウドソーシングによるコミュニティノートへの依存度を高める方向への転換を示しています。しかし、ファクトチェックと有用なコミュニティノートの間の依存関係の程度や性質は依然として不明確です。これらの疑問に取り組むため、私たちは言語モデルを使用して、Twitter/Xのコミュニティノートの大規模なコーパスを、トピック、引用された情報源、およびより広範な誤情報のナラティブに関連する主張を反駁するかどうかといった属性で注釈付けしました。私たちの分析によると、コミュニティノートは、これまで報告されていたよりも最大5倍多くファクトチェックの情報源を引用しています。特に、より広範なナラティブに関連する投稿に対するノートでは、他の情報源と比べてファクトチェックの情報源を参照する可能性が2倍高く、ファクトチェックが極めて重要であることが明らかになりました。結論として、私たちの結果は、成功したコミュニティモデレーションが専門的なファクトチェックに大きく依存していることを示しています。

English

Two commonly-employed strategies to combat the rise of misinformation on social media are (i) fact-checking by professional organisations and (ii) community moderation by platform users. Policy changes by Twitter/X and, more recently, Meta, signal a shift away from partnerships with fact-checking organisations and towards an increased reliance on crowdsourced community notes. However, the extent and nature of dependencies between fact-checking and helpful community notes remain unclear. To address these questions, we use language models to annotate a large corpus of Twitter/X community notes with attributes such as topic, cited sources, and whether they refute claims tied to broader misinformation narratives. Our analysis reveals that community notes cite fact-checking sources up to five times more than previously reported. Fact-checking is especially crucial for notes on posts linked to broader narratives, which are twice as likely to reference fact-checking sources compared to other sources. In conclusion, our results show that successful community moderation heavily relies on professional fact-checking.