Hallucinatie in Citaten: Het Blootleggen van de Impact van Verzonnen Referenties met 300 Gefingeerde Artikelen op ACL-Conferenties

HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences

January 26, 2026

Auteurs: Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

cs.AI

Samenvatting

Recentelijk hebben we vaak gehallucineerde citaties of referenties waargenomen die niet overeenkomen met enig bestaand werk in papers onder review, preprints of gepubliceerde artikelen. Dergelijke gehallucineerde citaties vormen een ernstige zorg voor de wetenschappelijke betrouwbaarheid. Wanneer ze verschijnen in geaccepteerde artikelen, kunnen ze ook een negatieve invloed hebben op de geloofwaardigheid van conferenties. In deze studie verwijzen we naar gehallucineerde citaties als "HalluCitation" en onderzoeken we systematisch hun prevalentie en impact. We analyseren alle artikelen gepubliceerd op ACL, NAACL en EMNLP in 2024 en 2025, inclusief hoofdconferentie-, Findings- en workshoppapers. Onze analyse toont aan dat bijna 300 artikelen ten minste één HalluCitation bevatten, waarvan de meeste werden gepubliceerd in 2025. Opmerkelijk is dat de helft van deze artikelen werd geïdentificeerd op EMNLP 2025, de meest recente conferentie, wat aangeeft dat dit probleem snel toeneemt. Bovendien werden meer dan 100 van dergelijke artikelen geaccepteerd als hoofdconferentie- en Findings-papers op EMNLP 2025, wat de geloofwaardigheid aantast.

English

Recently, we have often observed hallucinated citations or references that do not correspond to any existing work in papers under review, preprints, or published papers. Such hallucinated citations pose a serious concern to scientific reliability. When they appear in accepted papers, they may also negatively affect the credibility of conferences. In this study, we refer to hallucinated citations as "HalluCitation" and systematically investigate their prevalence and impact. We analyze all papers published at ACL, NAACL, and EMNLP in 2024 and 2025, including main conference, Findings, and workshop papers. Our analysis reveals that nearly 300 papers contain at least one HalluCitation, most of which were published in 2025. Notably, half of these papers were identified at EMNLP 2025, the most recent conference, indicating that this issue is rapidly increasing. Moreover, more than 100 such papers were accepted as main conference and Findings papers at EMNLP 2025, affecting the credibility.