Können Community-Notizen professionelle Faktenprüfer ersetzen?

Can Community Notes Replace Professional Fact-Checkers?

February 19, 2025

Autoren: Nadav Borenstein, Greta Warren, Desmond Elliott, Isabelle Augenstein

cs.AI

Zusammenfassung

Zwei häufig verwendete Strategien zur Bekämpfung des Anstiegs von Fehlinformationen in sozialen Medien sind (i) Faktenprüfung durch professionelle Organisationen und (ii) Community-Moderation durch Plattformnutzer. Politikänderungen von Twitter/X und, neuerdings, Meta signalisieren einen Wechsel weg von Partnerschaften mit Faktenprüfungsorganisationen hin zu einer verstärkten Abhängigkeit von von der Community bereitgestellten Notizen. Allerdings bleiben Umfang und Art der Abhängigkeiten zwischen Faktenprüfung und hilfreichen Community-Notizen unklar. Um diese Fragen zu klären, verwenden wir Sprachmodelle, um einen großen Korpus von Twitter/X-Community-Notizen mit Attributen wie Thema, zitierten Quellen und ob sie Behauptungen widerlegen, die mit umfassenderen Fehlinformationsnarrativen verbunden sind, zu annotieren. Unsere Analyse zeigt, dass Community-Notizen Faktenprüfungsquellen bis zu fünfmal häufiger zitieren als zuvor berichtet. Faktenprüfung ist besonders wichtig für Notizen zu Beiträgen, die mit umfassenderen Narrativen verbunden sind, da sie doppelt so häufig Faktenprüfungsquellen zitieren im Vergleich zu anderen Quellen. Zusammenfassend zeigen unsere Ergebnisse, dass erfolgreiche Community-Moderation stark auf professioneller Faktenprüfung beruht.

English

Two commonly-employed strategies to combat the rise of misinformation on social media are (i) fact-checking by professional organisations and (ii) community moderation by platform users. Policy changes by Twitter/X and, more recently, Meta, signal a shift away from partnerships with fact-checking organisations and towards an increased reliance on crowdsourced community notes. However, the extent and nature of dependencies between fact-checking and helpful community notes remain unclear. To address these questions, we use language models to annotate a large corpus of Twitter/X community notes with attributes such as topic, cited sources, and whether they refute claims tied to broader misinformation narratives. Our analysis reveals that community notes cite fact-checking sources up to five times more than previously reported. Fact-checking is especially crucial for notes on posts linked to broader narratives, which are twice as likely to reference fact-checking sources compared to other sources. In conclusion, our results show that successful community moderation heavily relies on professional fact-checking.