Dimostrami le prove: Valutazione del ruolo delle evidenze e delle spiegazioni in linguaggio naturale nel fact-checking supportato dall'IA

Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking

January 16, 2026

Autori: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein

cs.AI

Abstract

Sebbene molte ricerche si siano concentrate sulle spiegazioni dell'IA per supportare le decisioni in compiti complessi di ricerca di informazioni come il fact-checking, il ruolo delle prove è sorprendentemente poco studiato. Nel nostro studio, abbiamo variato sistematicamente il tipo di spiegazione, la certezza della previsione dell'IA e la correttezza dei consigli del sistema di IA per partecipanti non esperti, che hanno valutato la veridicità delle affermazioni e delle previsioni del sistema. Ai partecipanti è stata data la possibilità di ispezionare facilmente le prove sottostanti. Abbiamo scoperto che i partecipanti facevano sistematicamente affidamento sulle prove per convalidare le affermazioni dell'IA in tutte le condizioni sperimentali. Quando ai partecipanti venivano presentate spiegazioni in linguaggio naturale, le prove venivano utilizzate meno frequentemente, sebbene vi facessero ricorso quando queste spiegazioni sembravano insufficienti o imperfette. I dati qualitativi suggeriscono che i partecipanti tentavano di dedurre l'affidabilità della fonte delle prove, nonostante l'identità delle fonti fosse stata volutamente omessa. I nostri risultati dimostrano che le prove sono un ingrediente chiave nel modo in cui le persone valutano l'affidabilità delle informazioni presentate da un sistema di IA e, in combinazione con spiegazioni in linguaggio naturale, offrono un supporto prezioso per il processo decisionale. Sono urgentemente necessarie ulteriori ricerche per comprendere come le prove dovrebbero essere presentate e come le persone le utilizzano nella pratica.

English

Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.