この引用は適切か？

要旨

2023年、ニューヨークの裁判官は、Mata v. Avianca事件において、ChatGPTが生成した幻覚による引用を含む準備書面を提出した2人の弁護士に制裁を科した。このような失敗は、主にデータベース照会によって検出される。しかし、より困難な問題は、実際に存在する判例を指しているものの、そこで提示されている命題を裏付けていない引用を検出することである。この種の失敗は、法的ユースケースに対する既存のLLM評価ではほとんど見過ごされている。本論文では、2つの法文コーパスから得られた実際の法的引用に統制された摂動を加えることにより、命題レベルの引用支持検証を研究する。摂動は、引用された判例を置き換えるか、同じ判例内のピンポイントページのみを変更するかのいずれかである。我々は、得られた例に対して14のモデル構成を評価した。モデルは、判例を置き換えた改変の93～100%を検出した。しかし、ピンポイントページの誤りについては、裁判所意見書では37～61%、法的準備書面では52～83%しか検出できなかった。モデルがピンポイントページの誤りを検出できない場合、ページレベルの支持ではなく、トピックの重複に基づいて引用を受理する。モデル規模と拡張推論はこのギャップを縮小するが、解消はしない。推論努力を高く設定したGPT-5.4でさえ、裁判所意見書ではピンポイントの不一致の40%、準備書面では18%を見逃す。引用ページでの支持を検証するようにモデルにプロンプトを与えると再現率は向上するが、偽陽性率も上昇する。正しい法的トピックを認識することと、引用された命題の支持を検証することは別個の能力であり、現在のモデルはこれらを混同している。

English

In 2023, a New York judge sanctioned two attorneys in Mata v. Avianca for filing a brief with hallucinated citations generated by ChatGPT. Such failures are largely caught by database lookups; the harder problem is detecting citations that point to real cases but do not support the propositions for which they are offered -- a failure mode that existing evaluations of LLMs for legal use cases largely overlook. In this paper, we study proposition-level citation support verification through controlled perturbations of real legal citations obtained from two legal corpora, either replacing the cited case or changing only the pinpoint page within the same case. We evaluate fourteen model configurations on the resulting examples. Models catch 93-100% of wrong-case corruptions. They catch only 37-61% of wrong-pinpoint corruptions on court opinions and 52-83% on legal briefs. When models fail to catch wrong-pinpoint corruptions, they accept the citation based on topical overlap rather than page-level support. Scale and extended reasoning narrow the gap but do not close it: GPT-5.4 with high reasoning effort still misses 40% of pinpoint mismatches on court opinions and 18% on briefs. Prompting the model to verify support at the cited page improves recall, but it also raises the false positive rate. Recognizing the right legal topic and verifying support for the cited proposition are distinct capabilities, and current models conflate them.