Rilevare Incoerenze di Conoscenza a Livello di Corpus in Wikipedia con Modelli Linguistici di Grande Dimensione

Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models

September 27, 2025

Autori: Sina J. Semnani, Jirayu Burapacheep, Arpandeep Khatua, Thanawan Atchariyachanvanit, Zheng Wang, Monica S. Lam

cs.AI

Abstract

Wikipedia è il più grande corpus di conoscenza aperta, ampiamente utilizzato in tutto il mondo e rappresenta una risorsa chiave per l'addestramento di grandi modelli linguistici (LLM) e sistemi di generazione aumentata con recupero (RAG). Garantirne l'accuratezza è quindi fondamentale. Ma quanto è accurata Wikipedia, e come possiamo migliorarla? Ci concentriamo sulle incongruenze, un tipo specifico di inesattezza fattuale, e introduciamo il compito di rilevamento delle incongruenze a livello di corpus. Presentiamo CLAIRE, un sistema agentivo che combina il ragionamento degli LLM con il recupero di informazioni per evidenziare affermazioni potenzialmente inconsistenti insieme a prove contestuali per la revisione umana. In uno studio con utenti condotto con editor esperti di Wikipedia, l'87,5% ha riportato una maggiore fiducia nell'utilizzo di CLAIRE, e i partecipanti hanno identificato il 64,7% in più di incongruenze nello stesso lasso di tempo. Combinando CLAIRE con l'annotazione umana, contribuiamo con WIKICOLLIDE, il primo benchmark di incongruenze reali di Wikipedia. Utilizzando un campionamento casuale con analisi assistita da CLAIRE, scopriamo che almeno il 3,3% dei fatti presenti nella Wikipedia in inglese contraddice un altro fatto, con incongruenze che si propagano nel 7,3% degli esempi di FEVEROUS e nel 4,0% di quelli di AmbigQA. Il benchmarking di baseline solide su questo dataset rivela un margine di miglioramento significativo: il miglior sistema completamente automatizzato raggiunge un AUROC di solo il 75,1%. I nostri risultati dimostrano che le contraddizioni sono una componente misurabile di Wikipedia e che sistemi basati su LLM come CLAIRE possono fornire uno strumento pratico per aiutare gli editor a migliorare la coerenza della conoscenza su larga scala.

English

Wikipedia is the largest open knowledge corpus, widely used worldwide and serving as a key resource for training large language models (LLMs) and retrieval-augmented generation (RAG) systems. Ensuring its accuracy is therefore critical. But how accurate is Wikipedia, and how can we improve it? We focus on inconsistencies, a specific type of factual inaccuracy, and introduce the task of corpus-level inconsistency detection. We present CLAIRE, an agentic system that combines LLM reasoning with retrieval to surface potentially inconsistent claims along with contextual evidence for human review. In a user study with experienced Wikipedia editors, 87.5% reported higher confidence when using CLAIRE, and participants identified 64.7% more inconsistencies in the same amount of time. Combining CLAIRE with human annotation, we contribute WIKICOLLIDE, the first benchmark of real Wikipedia inconsistencies. Using random sampling with CLAIRE-assisted analysis, we find that at least 3.3% of English Wikipedia facts contradict another fact, with inconsistencies propagating into 7.3% of FEVEROUS and 4.0% of AmbigQA examples. Benchmarking strong baselines on this dataset reveals substantial headroom: the best fully automated system achieves an AUROC of only 75.1%. Our results show that contradictions are a measurable component of Wikipedia and that LLM-based systems like CLAIRE can provide a practical tool to help editors improve knowledge consistency at scale.