Montrez-moi le travail : Exigences des vérificateurs de faits pour la vérification des faits automatisée explicative

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Auteurs: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Résumé

La prévalence des grands modèles de langage et de l'IA générative dans les médias en ligne a amplifié le besoin d'une vérification des faits automatisée efficace pour aider les vérificateurs de faits à faire face au volume croissant et à la sophistication de la désinformation. La nature complexe de la vérification des faits exige que les systèmes de vérification des faits automatisés fournissent des explications permettant aux vérificateurs de faits d'examiner leurs résultats. Cependant, il n'est pas clair comment ces explications devraient être alignées sur les processus de prise de décision et de raisonnement des vérificateurs de faits pour être intégrées efficacement dans leurs flux de travail. À travers des entretiens semi-structurés avec des professionnels de la vérification des faits, nous comblons ce fossé en : (i) fournissant un compte rendu de la façon dont les vérificateurs de faits évaluent les preuves, prennent des décisions et expliquent leurs processus ; (ii) examinant comment les vérificateurs de faits utilisent les outils automatisés en pratique ; et (iii) identifiant les exigences d'explication des vérificateurs de faits pour les outils de vérification des faits automatisés. Les résultats montrent des besoins en explication non satisfaits et identifient des critères importants pour des explications de vérification des faits reproductibles qui retracent le chemin de raisonnement du modèle, font référence à des preuves spécifiques, et mettent en évidence l'incertitude et les lacunes en information.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.