Muéstrame la evidencia: Evaluación del papel de la evidencia y las explicaciones en lenguaje natural en la verificación de hechos con soporte de IA
Show me the evidence: Evaluating the role of evidence and natural language explanations in AI-supported fact-checking
January 16, 2026
Autores: Greta Warren, Jingyi Sun, Irina Shklovski, Isabelle Augenstein
cs.AI
Resumen
Aunque gran parte de la investigación se ha centrado en las explicaciones de la IA para respaldar decisiones en tareas complejas de búsqueda de información, como la verificación de hechos, el papel de la evidencia ha sido sorprendentemente poco investigado. En nuestro estudio, variamos sistemáticamente el tipo de explicación, la certeza de la predicción de la IA y la corrección de las recomendaciones del sistema de IA para participantes no expertos, quienes evaluaron la veracidad de las afirmaciones y las predicciones del sistema de IA. Se les dio a los participantes la opción de inspeccionar fácilmente la evidencia subyacente. Descubrimos que los participantes confiaron consistentemente en la evidencia para validar las afirmaciones de la IA en todas las condiciones experimentales. Cuando se presentaron a los participantes explicaciones en lenguaje natural, la evidencia se utilizó con menos frecuencia, aunque recurrieron a ella cuando estas explicaciones parecían insuficientes o defectuosas. Los datos cualitativos sugieren que los participantes intentaron inferir la confiabilidad de la fuente de la evidencia, a pesar de que las identidades de las fuentes fueron omitidas deliberadamente. Nuestros resultados demuestran que la evidencia es un componente clave en cómo las personas evalúan la confiabilidad de la información presentada por un sistema de IA y, en combinación con las explicaciones en lenguaje natural, ofrece un valioso apoyo para la toma de decisiones. Se necesita urgentemente más investigación para comprender cómo debe presentarse la evidencia y cómo las personas interactúan con ella en la práctica.
English
Although much research has focused on AI explanations to support decisions in complex information-seeking tasks such as fact-checking, the role of evidence is surprisingly under-researched. In our study, we systematically varied explanation type, AI prediction certainty, and correctness of AI system advice for non-expert participants, who evaluated the veracity of claims and AI system predictions. Participants were provided the option of easily inspecting the underlying evidence. We found that participants consistently relied on evidence to validate AI claims across all experimental conditions. When participants were presented with natural language explanations, evidence was used less frequently although they relied on it when these explanations seemed insufficient or flawed. Qualitative data suggests that participants attempted to infer evidence source reliability, despite source identities being deliberately omitted. Our results demonstrate that evidence is a key ingredient in how people evaluate the reliability of information presented by an AI system and, in combination with natural language explanations, offers valuable support for decision-making. Further research is urgently needed to understand how evidence ought to be presented and how people engage with it in practice.