Покажите доказательства: Оценка роли доказательств и объяснений на естественном языке в проверке фактов при поддержке ИИ

Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking

January 16, 2026

Авторы: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein

cs.AI

Аннотация

Хотя многие исследования были сосредоточены на объяснениях ИИ для поддержки решений в сложных задачах поиска информации, таких как проверка фактов, роль доказательств удивительно мало изучена. В нашем исследовании мы систематически варьировали тип объяснения, уверенность прогноза ИИ и корректность рекомендаций системы ИИ для участников-неэкспертов, которые оценивали достоверность утверждений и прогнозов системы ИИ. Участникам была предоставлена возможность легко ознакомиться с исходными доказательствами. Мы обнаружили, что участники последовательно полагались на доказательства для проверки утверждений ИИ во всех экспериментальных условиях. Когда участникам представляли объяснения на естественном языке, доказательства использовались реже, хотя они прибегали к ним, когда эти объяснения казались недостаточными или ошибочными. Качественные данные свидетельствуют, что участники пытались оценить надежность источника доказательств, несмотря на намеренное сокрытие его идентификации. Наши результаты демонстрируют, что доказательства являются ключевым элементом в оценке людьми надежности информации, представленной системой ИИ, и в сочетании с объяснениями на естественном языке предлагают ценную поддержку для принятия решений. Необходимы дальнейшие исследования для понимания того, как следует представлять доказательства и как люди взаимодействуют с ними на практике.

English

Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.