Het detecteren van corpusniveau kennisinconsistenties in Wikipedia met grote taalmmodellen

Samenvatting

Wikipedia is het grootste open kennisbestand, wereldwijd veelgebruikt en een belangrijke bron voor het trainen van grote taalmodellen (LLM's) en retrieval-augmented generation (RAG)-systemen. Het waarborgen van de nauwkeurigheid ervan is daarom cruciaal. Maar hoe accuraat is Wikipedia, en hoe kunnen we het verbeteren? We richten ons op inconsistenties, een specifiek type feitelijke onnauwkeurigheid, en introduceren de taak van corpusniveau inconsistentiedetectie. We presenteren CLAIRE, een agent-gebaseerd systeem dat LLM-redeneringen combineert met retrieval om potentieel inconsistente beweringen te identificeren, samen met contextueel bewijsmateriaal voor menselijke beoordeling. In een gebruikersstudie met ervaren Wikipedia-redacteurs gaf 87,5% aan meer vertrouwen te hebben bij het gebruik van CLAIRE, en deelnemers identificeerden 64,7% meer inconsistenties in dezelfde tijdsduur. Door CLAIRE te combineren met menselijke annotatie, dragen we WIKICOLLIDE bij, de eerste benchmark van echte Wikipedia-inconsistenties. Met behulp van willekeurige steekproeven en CLAIRE-ondersteunde analyse vinden we dat ten minste 3,3% van de feiten op de Engelstalige Wikipedia een ander feit tegenspreekt, waarbij inconsistenties doorwerken in 7,3% van de FEVEROUS- en 4,0% van de AmbigQA-voorbeelden. Het benchmarken van sterke baselines op deze dataset laat aanzienlijke ruimte voor verbetering zien: het beste volledig geautomatiseerde systeem behaalt slechts een AUROC van 75,1%. Onze resultaten tonen aan dat tegenstrijdigheden een meetbaar onderdeel zijn van Wikipedia en dat LLM-gebaseerde systemen zoals CLAIRE een praktisch hulpmiddel kunnen bieden om redacteurs te helpen kennisconsistentie op grote schaal te verbeteren.

English

Wikipedia is the largest open knowledge corpus, widely used worldwide and serving as a key resource for training large language models (LLMs) and retrieval-augmented generation (RAG) systems. Ensuring its accuracy is therefore critical. But how accurate is Wikipedia, and how can we improve it? We focus on inconsistencies, a specific type of factual inaccuracy, and introduce the task of corpus-level inconsistency detection. We present CLAIRE, an agentic system that combines LLM reasoning with retrieval to surface potentially inconsistent claims along with contextual evidence for human review. In a user study with experienced Wikipedia editors, 87.5% reported higher confidence when using CLAIRE, and participants identified 64.7% more inconsistencies in the same amount of time. Combining CLAIRE with human annotation, we contribute WIKICOLLIDE, the first benchmark of real Wikipedia inconsistencies. Using random sampling with CLAIRE-assisted analysis, we find that at least 3.3% of English Wikipedia facts contradict another fact, with inconsistencies propagating into 7.3% of FEVEROUS and 4.0% of AmbigQA examples. Benchmarking strong baselines on this dataset reveals substantial headroom: the best fully automated system achieves an AUROC of only 75.1%. Our results show that contradictions are a measurable component of Wikipedia and that LLM-based systems like CLAIRE can provide a practical tool to help editors improve knowledge consistency at scale.

Het detecteren van corpusniveau kennisinconsistenties in Wikipedia met grote taalmmodellen

Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models

Samenvatting

Support