Laat Me het Werk Zien: Eisen van Factcheckers voor Uitlegbare Geautomatiseerde Factchecking

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Auteurs: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Samenvatting

De alomtegenwoordigheid van grote taalmodelen en generatieve AI in online media heeft de behoefte aan effectieve geautomatiseerde feitencontrole vergroot om factcheckers te ondersteunen bij het aanpakken van de toenemende hoeveelheid en verfijning van desinformatie. De complexe aard van feitencontrole vereist dat geautomatiseerde feitencontrolesystemen uitleg bieden die factcheckers in staat stellen hun uitkomsten te beoordelen. Het is echter onduidelijk hoe deze uitleg moet aansluiten bij de besluitvormings- en redeneerprocessen van factcheckers om effectief in hun workflows te worden geïntegreerd. Door middel van semi-gestructureerde interviews met professionele factcheckers overbruggen we deze kloof door: (i) inzicht te bieden in hoe factcheckers bewijs beoordelen, beslissingen nemen en hun processen uitleggen; (ii) te onderzoeken hoe factcheckers in de praktijk geautomatiseerde tools gebruiken; en (iii) de uitlegbehoeften van factcheckers voor geautomatiseerde feitencontroletools te identificeren. De bevindingen tonen onvervulde uitlegbehoeften aan en identificeren belangrijke criteria voor reproduceerbare feitencontrole-uitleg die het redeneerpad van het model traceren, specifiek bewijs refereren, en onzekerheid en informatiehiaten benadrukken.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.