Montrez-moi les preuves : Évaluer le rôle des preuves et des explications en langage naturel dans la vérification des faits assistée par l'IA
Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking
January 16, 2026
Auteurs: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein
cs.AI
Résumé
Bien que de nombreuses recherches se soient concentrées sur les explications de l'IA pour étayer les décisions dans des tâches complexes de recherche d'information telles que la vérification des faits, le rôle des preuves est étonnamment peu étudié. Dans notre étude, nous avons systématiquement fait varier le type d'explication, la certitude de la prédiction de l'IA et l'exactitude des conseils du système d'IA pour des participants non-experts, qui évaluaient la véracité d'affirmations et de prédictions du système d'IA. Les participants avaient la possibilité d'inspecter facilement les preuves sous-jacentes. Nous avons constaté que les participants se fiaient systématiquement aux preuves pour valider les affirmations de l'IA dans toutes les conditions expérimentales. Lorsque des explications en langage naturel étaient présentées, les preuves étaient moins sollicitées, sauf lorsque ces explications semblaient insuffisantes ou erronées. Les données qualitatives suggèrent que les participants tentaient d'inférer la fiabilité des sources des preuves, bien que leur identité ait été délibérément omise. Nos résultats démontrent que les preuves sont un élément clé dans l'évaluation par les individus de la fiabilité des informations présentées par un système d'IA et, combinées à des explications en langage naturel, elles offrent un soutien précieux à la prise de décision. Des recherches supplémentaires sont urgemment nécessaires pour comprendre comment les preuves devraient être présentées et comment les individus interagissent avec elles en pratique.
English
Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.