Muéstrame el Trabajo: Requisitos de los Verificadores de Hechos para la Verificación de Hechos Automatizada Explicable

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Autores: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Resumen

La omnipresencia de grandes modelos de lenguaje y la inteligencia artificial generativa en los medios en línea ha amplificado la necesidad de una verificación de hechos automatizada efectiva para ayudar a los verificadores de hechos a hacer frente al creciente volumen y sofisticación de la desinformación. La naturaleza compleja de la verificación de hechos exige que los sistemas automatizados de verificación de hechos proporcionen explicaciones que permitan a los verificadores de hechos escrutar sus resultados. Sin embargo, no está claro cómo estas explicaciones deben alinearse con los procesos de toma de decisiones y razonamiento de los verificadores de hechos para integrarse efectivamente en sus flujos de trabajo. A través de entrevistas semiestructuradas con profesionales de la verificación de hechos, cerramos esta brecha al: (i) proporcionar un relato de cómo los verificadores de hechos evalúan la evidencia, toman decisiones y explican sus procesos; (ii) examinar cómo los verificadores de hechos utilizan herramientas automatizadas en la práctica; y (iii) identificar los requisitos de explicación de los verificadores de hechos para las herramientas automatizadas de verificación de hechos. Los hallazgos muestran necesidades de explicación no satisfechas e identifican criterios importantes para explicaciones de verificación de hechos replicables que sigan el camino de razonamiento del modelo, hagan referencia a evidencia específica y destaquen la incertidumbre y las lagunas de información.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.