CiteAudit: Je citeerde het, maar las je het ook? Een benchmark voor het verifiëren van wetenschappelijke referenties in het tijdperk van grote taalmodel
CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era
February 26, 2026
Auteurs: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye
cs.AI
Samenvatting
Wetenschappelijk onderzoek steunt op accurate citaties voor toeschrijving en integriteit, maar grote taalmodelen (LLM's) introduceren een nieuw risico: vervalste referenties die plausibel lijken maar niet corresponderen met bestaande publicaties. Dergelijke gehallucineerde citaties zijn reeds waargenomen in ingediende en geaccepteerde artikelen bij toonaangevende machine learning-conferenties, wat kwetsbaarheden in de peer review blootlegt. Tegelijkertijd maken snel groeiende referentielijsten handmatige verificatie onpraktisch, en bestaande geautomatiseerde tools blijven fragiel tegenover inconsistente en heterogene citatieformaten en missen gestandaardiseerde evaluatie. Wij presenteren de eerste uitgebreide benchmark en detectiemethodiek voor gehallucineerde citaties in wetenschappelijke publicaties. Onze multi-agent-verificatiepijplijn verdeelt citatiecontrole in claimextractie, bewijsretrieval, passage-matching, redenering en gekalibreerd oordeel om te beoordelen of een geciteerde bron haar bewering daadwerkelijk ondersteunt. We construeren een grootschalige, door mensen gevalideerde dataset across domeinen en definiëren uniforme metrieken voor citatietrouw en bewijsalignment. Experimenten met state-of-the-art LLM's onthullen substantiële citatiefouten en tonen aan dat onze methodiek significant beter presteert dan eerdere methoden in zowel nauwkeurigheid als interpreteerbaarheid. Dit werk biedt de eerste schaalbare infrastructuur voor het auditen van citaties in het LLM-tijdperk en praktische tools om de betrouwbaarheid van wetenschappelijke referenties te verbeteren.
English
Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.