CiteGuard: 検索による拡張的検証によるLLMのための忠実な引用帰属

要旨

大規模言語モデル（LLM）は科学論文執筆における有望な支援ツールとして登場した。しかし、生成テキストの品質と信頼性、特に引用の正確性と忠実性に関して懸念が生じている。最近の研究の多くはLLM-as-a-Judgeなどの手法に依存しているが、それ単体での信頼性も疑問視されている。本研究では、引用評価を「引用帰属の整合性」問題、すなわちLLMが生成した引用が、同一テキストに対して人間の著者が付与する引用と一致するかを評価する課題として再定義する。我们は、引用検証により忠実な根拠付けを提供する検索対応エージェントフレームワークCiteGuardを提案する。CiteGuardは従来のベースラインを12.3%改善し、CiteMEベンチマークで最大65.4%の精度を達成、人間レベルの性能（69.7%）に匹敵する。さらに、代替となり得る有効な引用の特定も可能にする。

English

Large Language Models (LLMs) have emerged as promising assistants for scientific writing. However, there have been concerns regarding the quality and reliability of the generated text, one of which is the citation accuracy and faithfulness. While most recent work relies on methods such as LLM-as-a-Judge, the reliability of LLM-as-a-Judge alone is also in doubt. In this work, we reframe citation evaluation as a problem of citation attribution alignment, which is assessing whether LLM-generated citations match those a human author would include for the same text. We propose CiteGuard, a retrieval-aware agent framework designed to provide more faithful grounding for citation validation. CiteGuard improves the prior baseline by 12.3%, and achieves up to 65.4% accuracy on the CiteME benchmark, on par with human-level performance (69.7%). It also enables the identification of alternative but valid citations.

CiteGuard: 検索による拡張的検証によるLLMのための忠実な引用帰属

CiteGuard: Faithful Citation Attribution for LLMs via Retrieval-Augmented Validation

要旨

Support