CiteAudit : Vous l'avez cité, mais l'avez-vous lu ? Un benchmark pour vérifier les références scientifiques à l'ère des LLM.
CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era
February 26, 2026
Auteurs: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye
cs.AI
Résumé
La recherche scientifique repose sur des citations précises pour l'attribution et l'intégrité, mais les grands modèles de langage (LLM) introduisent un nouveau risque : des références fabriquées qui semblent plausibles mais ne correspondent à aucune publication réelle. De telles citations hallucinées ont déjà été observées dans des soumissions et des articles acceptés lors de grandes conférences en apprentissage automatique, exposant des vulnérabilités dans l'évaluation par les pairs. Parallèlement, la croissance rapide des listes de références rend la vérification manuelle impraticable, et les outils automatisés existants restent fragiles face aux formats de citation bruités et hétérogènes et manquent d'évaluation standardisée. Nous présentons le premier benchmark complet et cadre de détection pour les citations hallucinées dans l'écriture scientifique. Notre pipeline de vérification multi-agents décompose la vérification des citations en extraction d'affirmation, récupération de preuves, appariement de passages, raisonnement et jugement calibré pour évaluer si une source citée soutient véritablement son affirmation. Nous construisons un jeu de données à grande échelle validé par des humains couvrant plusieurs domaines et définissons des métriques unifiées pour la fidélité des citations et l'alignement des preuves. Les expériences avec les LLM de pointe révèlent des erreurs de citation substantielles et montrent que notre cadre surpasse significativement les méthodes antérieures en précision et interprétabilité. Ce travail fournit la première infrastructure évolutive pour auditer les citations à l'ère des LLM et des outils pratiques pour améliorer la fiabilité des références scientifiques.
English
Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.