CiteAudit: Вы это процитировали, но читали ли вы? Бенчмарк для проверки научных ссылок в эпоху больших языковых моделей

CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era

February 26, 2026

Авторы: Zhengqing Yuan, Kaiwen Shi, Zheyuan Zhang, Lichao Sun, Nitesh V. Chawla, Yanfang Ye

cs.AI

Аннотация

Научные исследования опираются на точное цитирование для установления авторства и обеспечения добросовестности, однако большие языковые модели (БЯМ) создают новый риск: сфабрикованные ссылки, которые выглядят правдоподобно, но не соответствуют реальным публикациям. Такие галлюцинированные цитаты уже были обнаружены в материалах, представленных и принятых на крупных конференциях по машинному обучению, что выявляет уязвимости в системе рецензирования. В то же время, стремительно растущие списки литературы делают ручную проверку непрактичной, а существующие автоматизированные инструменты остаются уязвимыми к зашумленным и неоднородным форматам цитирования и не имеют стандартизированной оценки. Мы представляем первый комплексный бенчмарк и фреймворк для обнаружения галлюцинированных цитат в научных текстах. Наш конвейер верификации с использованием мульти-агентного подхода разбивает проверку цитирования на извлечение утверждений, поиск доказательств, сопоставление фрагментов текста, логический вывод и калиброванное суждение для оценки того, действительно ли цитируемый источник подтверждает соответствующее утверждение. Мы создаем крупномасштабный набор данных, проверенный человеком, в различных областях и определяем унифицированные метрики для достоверности цитирования и соответствия доказательств. Эксперименты с современными БЯМ выявляют значительное количество ошибок цитирования и показывают, что наш фреймворк значительно превосходит предыдущие методы как по точности, так и по интерпретируемости. Данная работа предоставляет первую масштабируемую инфраструктуру для аудита цитирования в эпоху БЯМ и практические инструменты для повышения надежности научных ссылок.

English

Scientific research relies on accurate citation for attribution and integrity, yet large language models (LLMs) introduce a new risk: fabricated references that appear plausible but correspond to no real publications. Such hallucinated citations have already been observed in submissions and accepted papers at major machine learning venues, exposing vulnerabilities in peer review. Meanwhile, rapidly growing reference lists make manual verification impractical, and existing automated tools remain fragile to noisy and heterogeneous citation formats and lack standardized evaluation. We present the first comprehensive benchmark and detection framework for hallucinated citations in scientific writing. Our multi-agent verification pipeline decomposes citation checking into claim extraction, evidence retrieval, passage matching, reasoning, and calibrated judgment to assess whether a cited source truly supports its claim. We construct a large-scale human-validated dataset across domains and define unified metrics for citation faithfulness and evidence alignment. Experiments with state-of-the-art LLMs reveal substantial citation errors and show that our framework significantly outperforms prior methods in both accuracy and interpretability. This work provides the first scalable infrastructure for auditing citations in the LLM era and practical tools to improve the trustworthiness of scientific references.