CiteAudit: Lo citaste, pero ¿lo leíste? Un punto de referencia para verificar referencias científicas en la era de los LLM.

CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era

February 26, 2026

Autores: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye

cs.AI

Resumen

La investigación científica depende de citas precisas para la atribución y la integridad; sin embargo, los modelos de lenguaje grandes (LLM) introducen un nuevo riesgo: referencias fabricadas que parecen plausibles pero que no corresponden a publicaciones reales. Tales citas alucinadas ya se han observado en envíos y artículos aceptados en importantes eventos de aprendizaje automático, exponiendo vulnerabilidades en la revisión por pares. Mientras tanto, las listas de referencias de rápido crecimiento hacen que la verificación manual sea impracticable, y las herramientas automatizadas existentes siguen siendo frágiles ante formatos de citación ruidosos y heterogéneos, además de carecer de una evaluación estandarizada. Presentamos el primer benchmark integral y marco de detección para citas alucinadas en la escritura científica. Nuestra canalización de verificación multiagente descompone la verificación de citas en extracción de afirmaciones, recuperación de evidencia, comparación de pasajes, razonamiento y juicio calibrado para evaluar si una fuente citada respalda verdaderamente su afirmación. Construimos un conjunto de datos a gran escala validado por humanos en diversos dominios y definimos métricas unificadas para la fidelidad de la cita y la alineación de la evidencia. Experimentos con LLMs de última generación revelan errores sustanciales de citación y muestran que nuestro marco supera significativamente a métodos anteriores tanto en precisión como en interpretabilidad. Este trabajo proporciona la primera infraestructura escalable para auditar citas en la era de los LLM y herramientas prácticas para mejorar la confiabilidad de las referencias científicas.

English

Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.