Zeig mir die Arbeit: Anforderungen von Faktenprüfern an erklärbares automatisiertes Faktenprüfen

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Autoren: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Zusammenfassung

Die Verbreitung großer Sprachmodelle und generativer KI in Online-Medien hat den Bedarf an effektiver automatisierter Faktenprüfung verstärkt, um Faktenprüfern bei der Bewältigung des zunehmenden Volumens und der Raffinesse von Fehlinformationen zu unterstützen. Die komplexe Natur der Faktenprüfung erfordert, dass automatisierte Faktenprüfsysteme Erklärungen liefern, die es Faktenprüfern ermöglichen, ihre Ergebnisse zu überprüfen. Es ist jedoch unklar, wie diese Erklärungen mit den Entscheidungs- und Denkprozessen von Faktenprüfern in Einklang gebracht werden sollten, um effektiv in ihre Arbeitsabläufe integriert zu werden. Durch halbstrukturierte Interviews mit Faktenprüf-Profis überbrücken wir diese Lücke, indem wir: (i) darlegen, wie Faktenprüfer Beweise bewerten, Entscheidungen treffen und ihre Prozesse erklären; (ii) untersuchen, wie Faktenprüfer automatisierte Tools in der Praxis nutzen; und (iii) die Anforderungen von Faktenprüfern an Erklärungen für automatisierte Faktenprüfungstools identifizieren. Die Ergebnisse zeigen unerfüllte Erklärungsbedürfnisse auf und identifizieren wichtige Kriterien für reproduzierbare Faktenprüferklärungen, die den Denkweg des Modells nachverfolgen, spezifische Beweise referenzieren und Unsicherheiten sowie Informationslücken hervorheben.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.