이 인용이 적절한가요?

초록

2023년, 뉴욕의 한 판사는 Mata v. Avianca 사건에서 ChatGPT가 생성한 허위 인용문이 포함된 변론서를 제출한 두 변호사에게 제재를 가했다. 이러한 실패는 대부분 데이터베이스 조회를 통해 적발된다. 더 어려운 문제는 실제 사건을 가리키지만 해당 명제를 지지하지 않는 인용문을 탐지하는 것인데, 이는 법률 사용 사례에 대한 기존의 LLM 평가에서 대부분 간과되는 실패 유형이다. 본 논문에서는 두 개의 법률 말뭉치에서 얻은 실제 법률 인용문에 통제된 변형을 가하여, 인용된 사건을 대체하거나 동일한 사건 내에서 정확 페이지(pinpoint page)만 변경함으로써 명제 수준의 인용 지지 검증을 연구한다. 우리는 생성된 예시들에 대해 14가지 모델 구성을 평가한다. 모델은 잘못된 사건 변형의 93-100%를 적발한다. 그러나 법원 의견에서 잘못된 정확 페이지 변형은 37-61%만 적발하고, 법률 변론서에서는 52-83%만 적발한다. 모델이 잘못된 정확 페이지 변형을 적발하지 못할 때, 페이지 수준의 지지가 아닌 주제적 중복에 기초하여 인용문을 수용한다. 규모 확대와 확장된 추론은 그 격차를 줄이지만 완전히 메우지는 못한다: 높은 추론 강도를 가진 GPT-5.4는 법원 의견에서 정확 페이지 불일치의 40%, 변론서에서 18%를 여전히 놓친다. 인용된 페이지에서 지지를 검증하도록 모델에 프롬프트를 주면 재현율이 향상되지만, 오탐률도 함께 높아진다. 올바른 법률 주제를 인식하는 것과 인용된 명제에 대한 지지를 검증하는 것은 별개의 능력이며, 현재 모델은 이 둘을 혼동한다.

English

In 2023, a New York judge sanctioned two attorneys in Mata v. Avianca for filing a brief with hallucinated citations generated by ChatGPT. Such failures are largely caught by database lookups; the harder problem is detecting citations that point to real cases but do not support the propositions for which they are offered -- a failure mode that existing evaluations of LLMs for legal use cases largely overlook. In this paper, we study proposition-level citation support verification through controlled perturbations of real legal citations obtained from two legal corpora, either replacing the cited case or changing only the pinpoint page within the same case. We evaluate fourteen model configurations on the resulting examples. Models catch 93-100% of wrong-case corruptions. They catch only 37-61% of wrong-pinpoint corruptions on court opinions and 52-83% on legal briefs. When models fail to catch wrong-pinpoint corruptions, they accept the citation based on topical overlap rather than page-level support. Scale and extended reasoning narrow the gap but do not close it: GPT-5.4 with high reasoning effort still misses 40% of pinpoint mismatches on court opinions and 18% on briefs. Prompting the model to verify support at the cited page improves recall, but it also raises the false positive rate. Recognizing the right legal topic and verifying support for the cited proposition are distinct capabilities, and current models conflate them.