CiteAudit: Você Citou, Mas Leu? Um Benchmark para Verificar Referências Científicas na Era dos LLMs
CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era
February 26, 2026
Autores: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye
cs.AI
Resumo
A investigação científica depende de citações precisas para atribuição e integridade, contudo, os modelos de linguagem de grande escala (LLMs) introduzem um novo risco: referências fabricadas que parecem plausíveis, mas não correspondem a publicações reais. Tais citações alucinadas já foram observadas em submissões e artigos aceites em importantes conferências de aprendizagem automática, expondo vulnerabilidades na revisão por pares. Entretanto, listas de referências em rápido crescimento tornam a verificação manual impraticável, e as ferramentas automatizadas existentes permanecem frágeis face a formatos de citação ruidosos e heterogéneos, carecendo de avaliação padronizada. Apresentamos o primeiro benchmark abrangente e estrutura de deteção para citações alucinadas na escrita científica. O nosso *pipeline* de verificação multiagente decompõe a verificação de citações em extração de afirmações, recuperação de evidências, correspondência de passagens, raciocínio e julgamento calibrado para avaliar se uma fonte citada suporta verdadeiramente a sua afirmação. Construímos um conjunto de dados em larga escala, validado por humanos em várias áreas, e definimos métricas unificadas para a fidelidade da citação e o alinhamento da evidência. Experiências com LLMs de última geração revelam erros substanciais de citação e demonstram que a nossa estrutura supera significativamente métodos anteriores tanto em precisão como em interpretabilidade. Este trabalho fornece a primeira infraestrutura escalável para auditoria de citações na era dos LLMs e ferramentas práticas para melhorar a confiabilidade das referências científicas.
English
Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.