CiteAudit: Lo hai citato, ma l'hai letto? Un benchmark per verificare i riferimenti scientifici nell'era dei LLM

CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era

February 26, 2026

Autori: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye

cs.AI

Abstract

La ricerca scientifica si basa su citazioni accurate per l'attribuzione e l'integrità, ma i grandi modelli linguistici (LLM) introducono un nuovo rischio: riferimenti fabbricati che appaiono plausibili ma non corrispondono a pubblicazioni reali. Tali citazioni allucinate sono già state osservate in submission e articoli accettati in importanti conferenze di machine learning, esponendo vulnerabilità nella revisione paritaria. Nel frattempo, le liste di riferimento in rapida crescita rendono impraticabile la verifica manuale, e gli strumenti automatizzati esistenti rimangono fragili rispetto a formati di citazione rumorosi ed eterogenei e mancano di una valutazione standardizzata. Presentiamo il primo benchmark completo e un framework di rilevamento per le citazioni allucinate nella scrittura scientifica. La nostra pipeline di verifica multi-agente scompone il controllo delle citazioni in estrazione dell'affermazione, recupero delle evidenze, corrispondenza dei passaggi, ragionamento e giudizio calibrato per valutare se una fonte citata supporti veramente la sua affermazione. Costruiamo un dataset su larga scala convalidato da esseri umani in vari domini e definiamo metriche unificate per la fedeltà della citazione e l'allineamento delle evidenze. Esperimenti con LLM all'avanguardia rivelano errori sostanziali nelle citazioni e mostrano che il nostro framework supera significativamente i metodi precedenti sia in accuratezza che interpretabilità. Questo lavoro fornisce la prima infrastruttura scalabile per l'audit delle citazioni nell'era degli LLM e strumenti pratici per migliorare l'affidabilità dei riferimenti scientifici.

English

Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.