CiteAudit: Sie haben es zitiert, aber haben Sie es gelesen? Ein Benchmark zur Überprüfung wissenschaftlicher Referenzen im Zeitalter der LLMs
CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era
February 26, 2026
Autoren: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye
cs.AI
Zusammenfassung
Wissenschaftliche Forschung ist auf präzise Zitiertechnik angewiesen, um Urheberschaft und Integrität zu gewährleisten. Große Sprachmodelle (LLMs) bergen jedoch ein neues Risiko: fabrizierte Referenzen, die plausibel erscheinen, aber mit keiner realen Publikation übereinstimmen. Solche halluzinierten Zitate wurden bereits in Einreichungen und akzeptierten Artikeln auf bedeutenden Konferenzen für maschinelles Lernen beobachtet und offenbaren Schwachstellen im Peer-Review-Verfahren. Gleichzeitig macht das rapide Wachstum von Literaturverzeichnissen manuelle Überprüfung unpraktikabel, und bestehende automatisierte Tools sind anfällig für verrauschte und heterogene Zitierformate und entbehren einer standardisierten Evaluation. Wir präsentieren den ersten umfassenden Benchmark und ein Detektionsframework für halluzinierte Zitate in wissenschaftlichen Texten. Unsere Multi-Agenten-Verifikationspipeline zerlegt die Zitatprüfung in Behauptungsextraktion, Evidenzrecherche, Textpassagenabgleich, logisches Schließen und kalibrierte Urteilsbildung, um zu bewerten, ob eine zitierte Quelle ihre Behauptung tatsächlich stützt. Wir konstruieren einen großangelegten, humanvalidierten Datensatz über verschiedene Domänen hinweg und definieren einheitliche Metriken für Zitat-Treue und Evidenzabstimmung. Experimente mit state-of-the-art LLMs zeigen erhebliche Zitierfehler auf und demonstrieren, dass unser Framework frühere Methoden sowohl in Genauigkeit als auch Interpretierbarkeit signifikant übertrifft. Diese Arbeit bietet die erste skalierbare Infrastruktur zur Zitatauditierung im Zeitalter der LLMs und praktische Werkzeuge zur Verbesserung der Vertrauenswürdigkeit wissenschaftlicher Referenzen.
English
Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.