Mostre-me as evidências: Avaliando o papel das provas e das explicações em linguagem natural na verificação de fatos apoiada por IA

Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking

January 16, 2026

Autores: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein

cs.AI

Resumo

Embora muitas pesquisas tenham se concentrado em explicações de IA para apoiar decisões em tarefas complexas de busca de informação, como a verificação de fatos, o papel da evidência é surpreendentemente pouco estudado. Em nosso estudo, variamos sistematicamente o tipo de explicação, a certeza da previsão da IA e a correção do conselho do sistema de IA para participantes não especialistas, que avaliaram a veracidade de alegações e previsões do sistema de IA. Os participantes tiveram a opção de inspecionar facilmente as evidências subjacentes. Descobrimos que os participantes confiaram consistentemente nas evidências para validar as alegações da IA em todas as condições experimentais. Quando os participantes receberam explicações em linguagem natural, as evidências foram usadas com menos frequência, embora tenham recorrido a elas quando essas explicações pareciam insuficientes ou falhas. Dados qualitativos sugerem que os participantes tentaram inferir a confiabilidade da fonte das evidências, apesar de as identidades das fontes terem sido deliberadamente omitidas. Nossos resultados demonstram que a evidência é um ingrediente fundamental na forma como as pessoas avaliam a confiabilidade das informações apresentadas por um sistema de IA e, em combinação com explicações em linguagem natural, oferece um valioso suporte para a tomada de decisões. Mais pesquisas são urgentemente necessárias para entender como as evidências devem ser apresentadas e como as pessoas as utilizam na prática.

English

Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.