Detección de Inconsistencias de Conocimiento a Nivel de Corpus en Wikipedia con Modelos de Lenguaje a Gran Escala

Resumen

Wikipedia es el mayor corpus de conocimiento abierto, ampliamente utilizado en todo el mundo y que sirve como un recurso clave para el entrenamiento de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) y sistemas de generación aumentada por recuperación (RAG, por sus siglas en inglés). Por lo tanto, garantizar su precisión es fundamental. Pero, ¿qué tan precisa es Wikipedia y cómo podemos mejorarla? Nos enfocamos en las inconsistencias, un tipo específico de imprecisión factual, e introducimos la tarea de detección de inconsistencias a nivel de corpus. Presentamos CLAIRE, un sistema agéntico que combina el razonamiento de LLMs con la recuperación de información para identificar afirmaciones potencialmente inconsistentes junto con evidencia contextual para su revisión humana. En un estudio de usuarios con editores experimentados de Wikipedia, el 87.5% reportó mayor confianza al utilizar CLAIRE, y los participantes identificaron un 64.7% más de inconsistencias en el mismo período de tiempo. Combinando CLAIRE con la anotación humana, contribuimos con WIKICOLLIDE, el primer benchmark de inconsistencias reales de Wikipedia. Utilizando muestreo aleatorio con análisis asistido por CLAIRE, encontramos que al menos el 3.3% de los hechos en la Wikipedia en inglés contradicen otro hecho, con inconsistencias que se propagan en el 7.3% de los ejemplos de FEVEROUS y el 4.0% de AmbigQA. La evaluación de líneas base sólidas en este conjunto de datos revela un margen de mejora significativo: el mejor sistema completamente automatizado alcanza un AUROC de solo el 75.1%. Nuestros resultados muestran que las contradicciones son un componente medible de Wikipedia y que los sistemas basados en LLMs, como CLAIRE, pueden proporcionar una herramienta práctica para ayudar a los editores a mejorar la consistencia del conocimiento a gran escala.

English

Wikipedia is the largest open knowledge corpus, widely used worldwide and serving as a key resource for training large language models (LLMs) and retrieval-augmented generation (RAG) systems. Ensuring its accuracy is therefore critical. But how accurate is Wikipedia, and how can we improve it? We focus on inconsistencies, a specific type of factual inaccuracy, and introduce the task of corpus-level inconsistency detection. We present CLAIRE, an agentic system that combines LLM reasoning with retrieval to surface potentially inconsistent claims along with contextual evidence for human review. In a user study with experienced Wikipedia editors, 87.5% reported higher confidence when using CLAIRE, and participants identified 64.7% more inconsistencies in the same amount of time. Combining CLAIRE with human annotation, we contribute WIKICOLLIDE, the first benchmark of real Wikipedia inconsistencies. Using random sampling with CLAIRE-assisted analysis, we find that at least 3.3% of English Wikipedia facts contradict another fact, with inconsistencies propagating into 7.3% of FEVEROUS and 4.0% of AmbigQA examples. Benchmarking strong baselines on this dataset reveals substantial headroom: the best fully automated system achieves an AUROC of only 75.1%. Our results show that contradictions are a measurable component of Wikipedia and that LLM-based systems like CLAIRE can provide a practical tool to help editors improve knowledge consistency at scale.

Detección de Inconsistencias de Conocimiento a Nivel de Corpus en Wikipedia con Modelos de Lenguaje a Gran Escala

Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models

Resumen

Support