Explicando las Fuentes de Incertidumbre en la Verificación Automatizada de Hechos

Explaining Sources of Uncertainty in Automated Fact-Checking

May 23, 2025

Autores: Jingyi Sun, Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Resumen

Comprender las fuentes de incertidumbre de un modelo respecto a sus predicciones es crucial para una colaboración efectiva entre humanos e IA. Trabajos previos proponen el uso de incertidumbre numérica o expresiones cautelosas ("No estoy seguro, pero..."), las cuales no explican la incertidumbre que surge de evidencia conflictiva, dejando a los usuarios incapaces de resolver desacuerdos o confiar en la salida. Presentamos CLUE (Conflict-and-Agreement-aware Language-model Uncertainty Explanations), el primer marco para generar explicaciones en lenguaje natural de la incertidumbre del modelo mediante (i) la identificación de relaciones entre fragmentos de texto que revelan conflictos o acuerdos entre afirmaciones y evidencia, o entre evidencias, que impulsan la incertidumbre predictiva del modelo de manera no supervisada, y (ii) la generación de explicaciones mediante prompting y direccionamiento de atención que verbalizan estas interacciones críticas. A través de tres modelos de lenguaje y dos conjuntos de datos de verificación de hechos, demostramos que CLUE produce explicaciones más fieles a la incertidumbre del modelo y más consistentes con decisiones de verificación de hechos que el prompting para explicaciones de incertidumbre sin guía de interacción entre fragmentos. Evaluadores humanos consideran que nuestras explicaciones son más útiles, más informativas, menos redundantes y más lógicamente consistentes con la entrada que esta línea base. CLUE no requiere ajustes finos ni cambios arquitectónicos, lo que lo hace plug-and-play para cualquier modelo de lenguaje de caja blanca. Al vincular explícitamente la incertidumbre con conflictos de evidencia, ofrece soporte práctico para la verificación de hechos y se generaliza fácilmente a otras tareas que requieren razonamiento sobre información compleja.

English

Understanding sources of a model's uncertainty regarding its predictions is crucial for effective human-AI collaboration. Prior work proposes using numerical uncertainty or hedges ("I'm not sure, but ..."), which do not explain uncertainty that arises from conflicting evidence, leaving users unable to resolve disagreements or rely on the output. We introduce CLUE (Conflict-and-Agreement-aware Language-model Uncertainty Explanations), the first framework to generate natural language explanations of model uncertainty by (i) identifying relationships between spans of text that expose claim-evidence or inter-evidence conflicts and agreements that drive the model's predictive uncertainty in an unsupervised way, and (ii) generating explanations via prompting and attention steering that verbalize these critical interactions. Across three language models and two fact-checking datasets, we show that CLUE produces explanations that are more faithful to the model's uncertainty and more consistent with fact-checking decisions than prompting for uncertainty explanations without span-interaction guidance. Human evaluators judge our explanations to be more helpful, more informative, less redundant, and more logically consistent with the input than this baseline. CLUE requires no fine-tuning or architectural changes, making it plug-and-play for any white-box language model. By explicitly linking uncertainty to evidence conflicts, it offers practical support for fact-checking and generalises readily to other tasks that require reasoning over complex information.