Mostre-me o Trabalho: Requisitos dos Verificadores de Fatos para a Verificação Automatizada Explicável

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Autores: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Resumo

A ubiquidade dos grandes modelos de linguagem e da IA generativa nas mídias online ampliou a necessidade de verificadores de fatos automatizados eficazes para auxiliar os verificadores de fatos a lidar com o volume crescente e a sofisticação da desinformação. A natureza complexa da verificação de fatos exige que os sistemas automatizados forneçam explicações que permitam aos verificadores de fatos examinar suas saídas. No entanto, não está claro como essas explicações devem se alinhar aos processos de tomada de decisão e raciocínio dos verificadores de fatos para serem efetivamente integradas em seus fluxos de trabalho. Por meio de entrevistas semiestruturadas com profissionais de verificação de fatos, preenchemos essa lacuna ao: (i) fornecer um relato de como os verificadores de fatos avaliam evidências, tomam decisões e explicam seus processos; (ii) examinar como os verificadores de fatos usam ferramentas automatizadas na prática; e (iii) identificar os requisitos de explicação dos verificadores de fatos para ferramentas automatizadas de verificação de fatos. Os resultados mostram necessidades de explicação não atendidas e identificam critérios importantes para explicações de verificação de fatos replicáveis que rastreiam o caminho de raciocínio do modelo, referenciam evidências específicas e destacam incertezas e lacunas de informação.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.