**Laat het bewijs zien: De rol van bewijsmateriaal en natuurlijke taalverklaringen evalueren in door AI-ondersteunde feitencontrole**

Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking

January 16, 2026

Auteurs: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein

cs.AI

Samenvatting

Hoewel veel onderzoek zich heeft gericht op AI-verklaringen om beslissingen te ondersteunen bij complexe informatiezoektaken zoals factchecking, is de rol van bewijs opvallend onderbelicht. In onze studie varieerden we systematisch het type uitleg, de zekerheid van de AI-voorspelling en de juistheid van het AI-systeemadvies voor niet-deskundige deelnemers, die de juistheid van beweringen en AI-systeemvoorspellingen beoordeelden. Deelnemers kregen de mogelijkheid om het onderliggende bewijs eenvoudig te inspecteren. We ontdekten dat deelnemers consequent op bewijs vertrouwden om AI-beweringen te valideren, onder alle experimentele condities. Wanneer deelnemers natuurlijke-taaluitleg kregen, werd bewijs minder frequent gebruikt, hoewel ze erop terugvielen wanneer deze uitleg onvoldoende of gebrekkig leek. Kwalitatieve gegevens suggereren dat deelnemers probeerden de betrouwbaarheid van de bron van het bewijs af te leiden, ondanks dat bronidentiteiten opzettelijk waren weggelaten. Onze resultaten tonen aan dat bewijs een cruciale component is in hoe mensen de betrouwbaarheid van door een AI-systeem gepresenteerde informatie evalueren en, in combinatie met natuurlijke-taaluitleg, waardevolle ondersteuning biedt voor besluitvorming. Verder onderzoek is dringend nodig om te begrijpen hoe bewijs zou moeten worden gepresenteerd en hoe mensen er in de praktijk mee omgaan.

English

Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.