Вопросы галлюцинаций в цитировании: раскрытие влияния вымышленных ссылок на примере 300 статей с галлюцинированными цитатами на конференциях ACL
HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences
January 26, 2026
Авторы: Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe
cs.AI
Аннотация
В последнее время мы часто наблюдали в рецензируемых статьях, препринтах и опубликованных работах галлюцинированные цитаты или ссылки, которые не соответствуют каким-либо существующим работам. Такие галлюцинированные цитирования представляют серьезную угрозу для достоверности науки. Когда они появляются в принятых статьях, они также могут негативно повлиять на репутацию конференций. В данном исследовании мы называем галлюцинированные цитирования «HalluCitation» и систематически изучаем их распространенность и влияние. Мы анализируем все статьи, опубликованные на конференциях ACL, NAACL и EMNLP в 2024 и 2025 годах, включая статьи основного трека, Findings и материалы воркшопов. Наш анализ показывает, что почти 300 статей содержат по крайней мере один HalluCitation, большинство из которых были опубликованы в 2025 году. Примечательно, что половина этих статей была выявлена на EMNLP 2025, самой недавней конференции, что указывает на быстрое усугубление данной проблемы. Более того, более 100 таких статей были приняты в основной трек и Findings на EMNLP 2025, что подрывает доверие к конференции.
English
Recently, we have often observed hallucinated citations or references that do not correspond to any existing work in papers under review, preprints, or published papers. Such hallucinated citations pose a serious concern to scientific reliability. When they appear in accepted papers, they may also negatively affect the credibility of conferences. In this study, we refer to hallucinated citations as "HalluCitation" and systematically investigate their prevalence and impact. We analyze all papers published at ACL, NAACL, and EMNLP in 2024 and 2025, including main conference, Findings, and workshop papers. Our analysis reveals that nearly 300 papers contain at least one HalluCitation, most of which were published in 2025. Notably, half of these papers were identified at EMNLP 2025, the most recent conference, indicating that this issue is rapidly increasing. Moreover, more than 100 such papers were accepted as main conference and Findings papers at EMNLP 2025, affecting the credibility.