証拠の提示：AI支援ファクトチェックにおける証拠と自然言語による説明の役割の評価

Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking

January 16, 2026

著者: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein

cs.AI

要旨

事実確認のような複雑な情報探索タスクにおける意思決定支援としてのAI説明に関する研究は多数存在するが、証拠の役割については驚くほど研究が進んでいない。本研究では、非専門家の参加者に対して、説明の種類、AIの予測確実性、AIシステム助言の正しさを体系的に操作し、主張とAIシステム予測の真偽を評価させた。参加者には基礎となる証拠を容易に検証するオプションが提供された。その結果、参加者はすべての実験条件において、AIの主張を検証するために一貫して証拠に依存することが明らかになった。自然言語による説明が提示された場合、参加者は証拠をあまり利用しなかったが、これらの説明が不十分または欠陥があると感じた際には証拠に依存した。質的データからは、参加者が情報源の匿名性が意図的に保たれていたにもかかわらず、証拠の情報源の信頼性を推測しようと試みていたことが示唆される。我々の結果は、証拠がAIシステムによって提示される情報の信頼性を人々が評価する際の重要な要素であり、自然言語による説明と組み合わせることで意思決定に有益な支援を提供することを実証している。証拠をどのように提示すべきか、また実践において人々が証拠とどう向き合うかを理解するためには、さらなる研究が緊急に必要である。

English

Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.