HalluCitation Matters: Die Auswirkungen halluzinierter Referenzen aufgedeckt anhand von 300 halluzinierten Artikeln auf ACL-Konferenzen
HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences
January 26, 2026
papers.authors: Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe
cs.AI
papers.abstract
Kürzlich haben wir in zur Begutachtung eingereichten Artikeln, Preprints oder bereits veröffentlichten Arbeiten häufig halluzinierte Zitate oder Referenzen beobachtet, die keiner existierenden wissenschaftlichen Arbeit entsprechen. Solche halluzinierten Zitate stellen ein ernsthaftes Problem für die wissenschaftliche Zuverlässigkeit dar. Wenn sie in angenommenen Artikeln auftauchen, können sie zudem die Glaubwürdigkeit von Konferenzen beeinträchtigen. In dieser Studie bezeichnen wir halluzinierte Zitate als "HalluCitation" und untersuchen systematisch ihr Auftreten und ihre Auswirkungen. Wir analysieren alle Artikel, die 2024 und 2025 bei ACL, NAACL und EMNLP veröffentlicht wurden, einschließlich Hauptkonferenz-, Findings- und Workshop-Beiträgen. Unsere Analyse zeigt, dass fast 300 Artikel mindestens eine HalluCitation enthalten, wobei die meisten davon im Jahr 2025 veröffentlicht wurden. Besonders hervorzuheben ist, dass die Hälfte dieser Papiere bei der EMNLP 2025, der jüngsten Konferenz, identifiziert wurde, was darauf hindeutet, dass dieses Problem rapide zunimmt. Darüber hinaus wurden mehr als 100 solcher Artikel als Hauptkonferenz- und Findings-Beiträge für die EMNLP 2025 angenommen, was die Glaubwürdigkeit beeinträchtigt.
English
Recently, we have often observed hallucinated citations or references that do not correspond to any existing work in papers under review, preprints, or published papers. Such hallucinated citations pose a serious concern to scientific reliability. When they appear in accepted papers, they may also negatively affect the credibility of conferences. In this study, we refer to hallucinated citations as "HalluCitation" and systematically investigate their prevalence and impact. We analyze all papers published at ACL, NAACL, and EMNLP in 2024 and 2025, including main conference, Findings, and workshop papers. Our analysis reveals that nearly 300 papers contain at least one HalluCitation, most of which were published in 2025. Notably, half of these papers were identified at EMNLP 2025, the most recent conference, indicating that this issue is rapidly increasing. Moreover, more than 100 such papers were accepted as main conference and Findings papers at EMNLP 2025, affecting the credibility.