Mostrami il Lavoro: Requisiti dei Fact-Checker per il Fact-Checking Automatico Spiegabile

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Autori: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Abstract

La pervasività dei modelli linguistici di grandi dimensioni e dell'IA generativa nei media online ha amplificato la necessità di un fact-checking automatizzato efficace per assistere i fact-checker nel gestire il volume crescente e la sofisticazione della disinformazione. La natura complessa del fact-checking richiede che i sistemi automatizzati forniscano spiegazioni che consentano ai fact-checker di esaminare i loro output. Tuttavia, non è chiaro come queste spiegazioni debbano allinearsi ai processi decisionali e di ragionamento dei fact-checker per essere integrate efficacemente nei loro flussi di lavoro. Attraverso interviste semi-strutturate con professionisti del fact-checking, colmiamo questa lacuna: (i) fornendo una descrizione di come i fact-checker valutano le prove, prendono decisioni e spiegano i loro processi; (ii) esaminando come i fact-checker utilizzano gli strumenti automatizzati nella pratica; e (iii) identificando i requisiti di spiegazione dei fact-checker per gli strumenti di fact-checking automatizzati. I risultati evidenziano esigenze di spiegazione insoddisfatte e identificano criteri importanti per spiegazioni di fact-checking replicabili che traccino il percorso di ragionamento del modello, facciano riferimento a prove specifiche e mettano in evidenza incertezze e lacune informative.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.