Zeigen Sie mir die Beweise: Bewertung der Rolle von Evidenz und natürlichen Spracherklärungen in der KI-gestützten Faktenprüfung
Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking
January 16, 2026
Autoren: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein
cs.AI
Zusammenfassung
Obwohl sich viele Forschungsarbeiten auf KI-Erklärungen konzentriert haben, um Entscheidungen in komplexen Informationssuchaufgaben wie der Faktenprüfung zu unterstützen, ist die Rolle von Belegen erstaunlich wenig erforscht. In unserer Studie variierten wir systematisch den Erklärungstyp, die Vorhersagesicherheit der KI und die Korrektheit der KI-Systemratschläge für nicht-experimentelle Teilnehmer, die die Richtigkeit von Behauptungen und KI-Systemvorhersagen bewerteten. Den Teilnehmern wurde die Möglichkeit gegeben, die zugrundeliegenden Belege leicht einzusehen. Wir fanden heraus, dass die Teilnehmer durchgängig auf Belege zurückgriffen, um KI-Aussagen über alle experimentellen Bedingungen hinweg zu validieren. Wenn den Teilnehmern Erklärungen in natürlicher Sprache präsentiert wurden, wurden Belege seltener genutzt, obwohl sie darauf zurückgriffen, wenn diese Erklärungen unzureichend oder fehlerhaft erschienen. Qualitative Daten deuten darauf hin, dass die Teilnehmer versuchten, die Zuverlässigkeit der Belegquellen abzuleiten, obwohl die Quellenidentitäten bewusst weggelassen wurden. Unsere Ergebnisse zeigen, dass Belege eine Schlüsselkomponente dafür sind, wie Menschen die Zuverlässigkeit von durch ein KI-System präsentierten Informationen bewerten, und in Kombination mit Erklärungen in natürlicher Sprache eine wertvolle Entscheidungshilfe bieten. Weitere Forschung ist dringend erforderlich, um zu verstehen, wie Belege präsentiert werden sollten und wie Menschen in der Praxis mit ihnen interagieren.
English
Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.