ドキュメントの帰属: 大規模言語モデルを用いた引用関係の分析

Document Attribution: Examining Citation Relationships using Large Language Models

May 9, 2025

著者: Vipula Rawte, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka

cs.AI

要旨

大規模言語モデル（LLMs）が文書ベースのタスク（文書要約、質問応答、情報抽出など）にますます適用される中、ユーザーの要件はモデルのパラメトリックな知識に依存するのではなく、提供された文書から情報を取得することに焦点が当てられています。そのため、これらのシステムの信頼性と解釈可能性を確保することが重要な課題となっています。この課題に対処するための中心的なアプローチは、生成された出力をそのソース文書に遡って追跡する「帰属（attribution）」です。しかし、LLMsが不正確または不正確な応答を生成する可能性があるため、これらの引用の信頼性を評価することが重要です。 この問題に対処するため、私たちの研究では2つの手法を提案します。(1) 帰属を単純なテキスト含意タスクとしてフレーム化するゼロショットアプローチです。flan-ul2を使用した私たちの手法は、AttributionBenchのIDセットとOODセットにおいて、それぞれ最良のベースラインを0.27%と2.4%上回りました。(2) また、帰属プロセスを強化するためのアテンションメカニズムの役割を探ります。より小さいLLMであるflan-t5-smallを使用すると、第4層および第8層から第11層を除くほぼすべての層でF1スコアがベースラインを上回りました。

English

As Large Language Models (LLMs) are increasingly applied to document-based tasks - such as document summarization, question answering, and information extraction - where user requirements focus on retrieving information from provided documents rather than relying on the model's parametric knowledge, ensuring the trustworthiness and interpretability of these systems has become a critical concern. A central approach to addressing this challenge is attribution, which involves tracing the generated outputs back to their source documents. However, since LLMs can produce inaccurate or imprecise responses, it is crucial to assess the reliability of these citations. To tackle this, our work proposes two techniques. (1) A zero-shot approach that frames attribution as a straightforward textual entailment task. Our method using flan-ul2 demonstrates an improvement of 0.27% and 2.4% over the best baseline of ID and OOD sets of AttributionBench, respectively. (2) We also explore the role of the attention mechanism in enhancing the attribution process. Using a smaller LLM, flan-t5-small, the F1 scores outperform the baseline across almost all layers except layer 4 and layers 8 through 11.