事実確認者のための説明可能な自動事実確認の要件：その作業内容を示す

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

著者: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

要旨

大規模言語モデルと生成AIがオンラインメディアに広く普及する中、ファクトチェッカーが増大する量と高度化する誤情報に対処するための効果的な自動ファクトチェックの必要性が高まっています。ファクトチェックの複雑な性質から、自動ファクトチェックシステムは、ファクトチェッカーがその出力を精査できるような説明を提供する必要があります。しかし、これらの説明がファクトチェッカーの意思決定と推論プロセスにどのように整合すべきか、またそれらを彼らのワークフローに効果的に統合する方法は明確ではありません。ファクトチェックの専門家との半構造化インタビューを通じて、我々は以下の点でこのギャップを埋めます：(i) ファクトチェッカーが証拠を評価し、意思決定を行い、そのプロセスを説明する方法を記述する、(ii) ファクトチェッカーが実際に自動化ツールをどのように使用しているかを検証する、(iii) 自動ファクトチェックツールに対するファクトチェッカーの説明要件を特定する。調査結果からは、未充足の説明ニーズが明らかになり、モデルの推論経路を追跡し、特定の証拠を参照し、不確実性と情報のギャップを強調する再現可能なファクトチェック説明の重要な基準が特定されました。

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.