환각 인용의 중요성: ACL 학회에서 발견된 300편의 환각 논문을 통해 본 허위 참조문헌의 영향력 분석

초록

최근 논문 심사 과정, 프리프린트, 또는 게재된 논문에서 기존 연구와 전혀 일치하지 않는 허구적 인용이나 참고문헌이 빈번히 관찰되고 있습니다. 이러한 허구적 인용은 과학적 신뢰성에 심각한 우려를 제기합니다. 게재된 논문에 등장할 경우, 학회의 신뢰도에도 부정적인 영향을 미칠 수 있습니다. 본 연구에서는 이러한 허구적 인용을 '허구 인용(HalluCitation)'이라 명명하고 그 유병률과 영향력을 체계적으로 조사합니다. 우리는 2024년과 2025년에 ACL, NAACL, EMNLP에서 발표된 모든 논문(본 회의, Findings, 워크샵 논문 포함)을 분석합니다. 분석 결과, 약 300편의 논문이 최소 하나 이상의 허구 인용을 포함하고 있는 것으로 나타났으며, 이 중 대부분이 2025년에 출판되었습니다. 특히, 이러한 논문의 절반 가량이 가장 최근 학회인 EMNLP 2025에서 발견되어 이 문제가 빠르게 증가하고 있음을 시사합니다. 더욱이, EMNLP 2025에서는 100편 이상의 해당 논문이 본 회의 및 Findings 논문으로 채택되어 신뢰도에 영향을 미쳤습니다.

English

Recently, we have often observed hallucinated citations or references that do not correspond to any existing work in papers under review, preprints, or published papers. Such hallucinated citations pose a serious concern to scientific reliability. When they appear in accepted papers, they may also negatively affect the credibility of conferences. In this study, we refer to hallucinated citations as "HalluCitation" and systematically investigate their prevalence and impact. We analyze all papers published at ACL, NAACL, and EMNLP in 2024 and 2025, including main conference, Findings, and workshop papers. Our analysis reveals that nearly 300 papers contain at least one HalluCitation, most of which were published in 2025. Notably, half of these papers were identified at EMNLP 2025, the most recent conference, indicating that this issue is rapidly increasing. Moreover, more than 100 such papers were accepted as main conference and Findings papers at EMNLP 2025, affecting the credibility.

환각 인용의 중요성: ACL 학회에서 발견된 300편의 환각 논문을 통해 본 허위 참조문헌의 영향력 분석

HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences

초록

Support