증거를 보여주세요: AI 기반 팩트체킹에서 증거와 자연어 설명의 역할 평가
Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking
January 16, 2026
저자: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein
cs.AI
초록
사실 확인과 같은 복잡한 정보 탐색 과업에서 의사결정을 지원하기 위한 AI 설명에 관한 연구는 많이 이루어졌으나, 증거의 역할은 놀랍게도 충분히 연구되지 않았다. 본 연구에서는 비전문가 참가자들을 대상으로 설명 유형, AI 예측 확신도, AI 시스템 조언의 정확성을 체계적으로 변형하여 주장과 AI 시스템 예측의 진위를 평가하도록 했다. 참가자들에게는 기반 증거를 쉽게 검토할 수 있는 옵션이 제공되었다. 연구 결과, 참가자들은 모든 실험 조건에서 AI 주장을 검증하기 위해 지속적으로 증거에 의존하는 것으로 나타났다. 참가자들에게 자연어 설명이 제공된 경우에는 증거 사용 빈도가 낮았지만, 이러한 설명이 불충분하거나 결함이 있다고 판단될 때는 증거에 의존했다. 질적 데이터 분석 결과, 출처 신원이 의도적으로 생략되었음에도 참가자들은 증거 출처의 신뢰성을 추론하려는 시도를 보였다. 우리의 결과는 증거가 사람들이 AI 시스템이 제시한 정보의 신뢰성을 평가하는 방식에서 핵심 요소이며, 자연어 설명과 결합될 때 의사결정에 유용한 지원을 제공함을 보여준다. 증거가 어떻게 제시되어야 하며 실제로 사람들이 증거와 어떻게 상호작용하는지 이해하기 위한 추가 연구가 시급히 필요하다.
English
Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.